AI编造“一本正经地胡说八道”编造幻觉

在专业领域，AI“认真地说废话”的现象被称为AI幻觉。 “人工智能错觉是指人工智能会生成看似合理、连贯的内容，但与输入问题的意图不一致、与世界知识不一致、与现实或已知数据不一致、或者无法验证。” 近期长期从事自然语言处理和大模型研究。 从事人工智能研究的哈尔滨工业大学（深圳）校长特聘助理张敏教授在接受科技日报记者采访时表示。

AI幻觉很常见

记者发现，AI幻觉具有普遍性。

今年2月，谷歌发布的AI聊天机器人Bard在一段视频中就詹姆斯·韦伯太空望远镜发表了不实言论； 今年3月，美国的两名律师向当地法院提交了一份使用ChatGPT生成的法律文件。 ，这个文档格式工整，论证严谨，但是里面的案例都是假的……

尽管OpenAI研究人员在今年6月初发布报告称，他们“找到了AI错觉的解决方案”，但他们也承认，“即使是最先进的AI模型也容易产生谎言，它们会在不确定的时刻表现出捏造事实” . 倾向。”

总部位于纽约的人工智能初创公司和机器学习监控平台 Arthur AI 今年 8 月也发布了一份研究报告，比较了 OpenAI、Metaverse、Anthropic 和 Cohere 开发的大型语言模型中产生幻觉的概率。 研究报告表明，这些大型模型会引起幻觉。

虽然目前还没有关于国产大语言模型产生的AI幻觉的相关披露，但从相关公开报道中可以找到线索。

今年9月，腾讯混元语言模型正式亮相。 腾讯集团副总裁蒋杰表示，针对大型模型容易出现“乱码”的问题，腾讯优化了预训练算法和策略，将混元大型模型出现幻觉的概率降低了30%至50% % 与主流开源大型模型相比。 。

“大型模型可能会‘认真地说废话’。如果它们没有连接行业专业数据库或一些专业应用插件，这可能会导致它们提供过时或不专业的答案。” 科大讯飞研究院财务副院长、技术部CTO赵前在第七届金融科技与金融安全峰会上表示，科大讯飞推出了一些技术解决方案，让大模型扬长避短。

AI幻觉来自自身

“现在不同的研究工作对人工智能幻觉进行了不同的分类。” 张敏表示，总的来说，AI幻觉可以分为两类：内部幻觉和外部幻觉。

据悉，内部幻觉是与输入信息不一致的幻觉内容，包括与用户输入的问题或指令不一致，或者与对话的历史上下文信息相矛盾。 例如，AI模型会在同一次对话中回答用户的同一问题。 提出问题的方式不同，给出的回答也不同。 外部幻觉是与世界知识不一致或无法通过现有信息验证的内容。 例如，AI模型对用户提出的事实性问题给出错误答案，或者编造无法验证的内容。

近日，腾讯AI Lab联合国内外多家学术机构发布了大模型错觉工作综述。 这篇综述认为，AI幻觉集中在大模型缺乏相关知识、记住不正确的知识、大模型无法准确估计自身能力边界的场景。

“从技术角度来看，人工智能幻觉大多是由于人工智能对知识的记忆和理解不足、训练方法固有的缺陷以及模型本身的技术限制造成的。” 张敏坦言，人工智能的幻觉会造成知识偏差和误解。 它有时甚至会导致安全风险、伦理和道德问题。

AI错觉仍难以消除

尽管人工智能幻觉短期内难以完全消除，但业界正试图通过技术改进和监管评估来减轻其影响，以确保人工智能技术的安全可靠应用。

“现阶段很难完全消除人工智能幻觉，但我们可以尝试缓解它。” 张敏表示，在预训练、微调强化学习、推理生成等阶段采用适当的技术手段有望缓解AI幻觉现象。

据介绍，在预训练方面，要加大对知识密集型数据和高质量数据的筛选和筛选； 在强化学习的微调过程中，在模型知识边界内选择训练数据极为重要； 在推理生成过程中，可以检索外部知识，这种方法使得模型生成结果有据可循。 另外，改进解码搜索算法也是一个可行的解决方案。

腾讯AI实验室联合国内外多家学术机构发布的综述也表达了同样的观点，认为多智能体交互、指令设计、人机循环、内部分析等技术模型的状态也可以成为减轻人工智能幻觉的方法。

值得一提的是，哈尔滨工业大学（深圳）自主研发的荔枝文本大模型和九天多模态大模型对上述缓解AI幻觉的方式进行了深入探索，取得了显著成效。

“这对于开发一个真实可信的AI大模型是非常有必要的。” 张敏表示，“我们尝试通过视觉信息增强语言模型的能力，减少语言模型的外部错觉问题；通过多个大型模型代理进行独立思考和分析，增强反应的客观性，减少AI通过多个智能体之间的讨论、游戏和合作来产生幻想。”

张敏表示，破解人工智能幻象将提高人工智能系统的实用性、可信性和适用性，这将对未来人工智能技术的发展和社会的发展产生积极影响。 同时，更可靠的人工智能系统可以更广泛地应用于各个领域，这将推动技术进步的速度并带来更多的创新。 未来，破解AI幻象需要在算法、数据、透明、监管等方面采取进一步措施，确保AI系统的决策更加准确可靠。 （科技日报记者罗云鹏）