如何看待AI一本正经“胡说八道”？

dongzi

       最近，“AI又闯祸了”的新闻屡屡出现。AI写的研究报告里，把游戏《我的世界》里的煤炭获取方式当成了现实世界的事实；律师用AI生成的法律文件，不仅引用了不存在的案件，连真实案件也出现了误读。AI这些一本正经的“胡说八道”，让不少人警惕，被寄予厚望的人工智能，难道是个“大话精”？ 如何看待AI一本正经“胡说八道”？欢迎跟帖留言。

dongzi

在今年的世界人工智能大会上，“AI幻觉”成了行业内外热议的焦点。AI为啥总“瞎编”？有没有办法让它变得更靠谱？带着疑问，记者深入大会现场，探寻AI幻觉治理的密码。

dongzi

AI总“一本正经胡说”
　　AI幻觉”，简单来说，就是AI生成的内容看似有模有样，逻辑连贯，实际是AI自己“脑补”出来的。并且，AI产生幻觉的原因比较复杂。
　　从技术原理上讲，现在主流的大语言模型是基于海量数据训练出来的，通过学习数据中的模式和规律来生成文本。但数据本身可能存在错误、不完整或者过时的情况，模型在学习过程中就容易“跑偏”。而且，模型在生成文本时，是按照概率来选择下一个词，有时候为了让句子看起来通顺，就会“强行”编造一些信息。
　　在上海交通大学媒体与传播学院一项聚焦生成式人工智能发展与数字传播的研究中发现，对大模型AI幻觉高感知的公众比例不足一成。但随着AI在医疗、金融、公共事务等关键领域的应用越来越广泛，幻觉带来的危害不容小觑。
　　

dongzi

“治幻”新技术有啥亮点
　　面对AI幻觉难题，今年大会上，多家企业亮出了针对性的技术方案与产品，为治理AI幻觉提供了新思路。
　　阶跃星辰在大会开幕前夕便有动作，其自研的AI助手阶跃AI上线了全球首个专家共建的“深入核查”功能。该功能直指互联网信息污染与AI幻觉问题，能识别虚假信息、交叉验证数据，并为用户提供清晰的溯源佐证，对专业研究和商业分析类工作大有裨益。
　　其核心逻辑是跳出仅靠语言大模型单向推理的局限，借鉴人类专业核查方法，通过理清核查重点、信息溯源、综合评估信源可靠度、交叉验证等步骤，为用户提供“证据”而非“论断”。所有核查发现都会附上多个引用来源、原始网页、发布时间等详细信息，方便用户二次判断。
　　同时，借助深层次执行与丰富上下文，让模型更彻底地“榨取”信息，减少幻觉。产品还具备“限定领域搜索”和“文献/数据库”能力，融入自建的信源标识体系。
　　该功能上线两周就获得海外Product Hunt前十名的产品关注度，足见市场对其的认可。
　　蚂蚁集团在大会期间的动作同样引人关注。7月27日，由蚂蚁集团联合华东政法大学主办的 “高阶程序（HOP）引领AI应用新范式”论坛上，蚂蚁集团旗下蚂蚁密算宣布开源高阶程序大模型可信应用技术框架，旨在通过智能与工程体系的结合，解决大模型在专业领域应用的可靠性难题，尤其是幻觉风险。
　　目前，该技术框架已在金融风控全链路、网络入侵检测、医疗重复计费等多行业场景应用。

dongzi

专家学者怎么看
　　对于AI幻觉能否被彻底消灭这个问题，专家学者们看法不一。
　　合合信息数据事业部副总经理沈东辉认为，在商业端，AI的幻觉问题是可以解决的。他指出，解决的前提是提供大模型应用服务的厂商要保证数据的可信、可靠与准确，同时要确保大模型生成的过程可解释、可控制，这样才能保证生成的结论可用且可信。
　　以合合信息的启信慧眼为例，其聚焦商业数据AI大模型应用中的幻觉问题。其解决方案从数据和决策分析规则两方面入手。在数据层面，依托文本智能技术平台，构建了覆盖3.4亿家企业、每家企业近1000个字段、动态数据超2000亿条的数据库，所有数据均来自官方可靠来源，经技术和人工清洗，确保来源可信、客观。
　　上海交通大学的张拳石教授则强调，大模型的“聪明”往往是“事后拟合”的幻象，缺乏可解释性和可验证性。AI若要在关键场景落地，必须实现可解释、可验证、透明可信的技术体系。这意味着，要解决AI幻觉问题，需要从技术底层进行革新，让AI的决策过程能够被人类理解和监督。
　　从目前的情况来看，虽然AI幻觉还无法被完全消灭，但随着技术的不断进步和行业的持续探索，我们有理由相信，未来AI将变得更加可靠、可信。