AI胡编乱造，OpenAI称已找到解决方案
6月1日消息，ChatGPT 开发商 OpenAI 5 月 31 日发布了一份研究论文，阐述了如何解决AI幻觉的新方法。AI幻觉指的是聊天机器人用编造的信息进行回应。
据凤凰科技报道，像ChatGPT 和谷歌巴德（Bard）这样的聊天机器人会捏造完全不存在的信息，表现得好像他们在滔滔不绝地讲事实，这就是 AI 幻觉。
举个例子：在谷歌 2 月份为巴德拍摄的宣传视频中，这个聊天机器人对詹姆斯・韦伯太空望远镜做出了不真实的陈述。
最近，ChatGPT 在纽约联邦法院的一份文件中引用了“虚假”案例，涉案的纽约律师可能面临制裁。
OpenAI 研究人员在报告中称：“即使是最先进的模型也容易生成谎言，它们在不确定的时刻会表现出捏造事实的倾向。这些幻觉在需要多步骤推理的领域尤其是个问题，因为一个逻辑错误就足以破坏一个更大的解决方案。”
为了对抗 AI 幻觉，OpenAI 找到了一种潜在新策略：训练 AI 模型在推理出答案的每个正确步骤上给予自我奖励，而不仅仅是等到推理出正确的最终结论时才给予奖励。研究人员表示，这种方法被称为“过程监督”，与之相反的是“结果监督”，这可能会训练出更好的可解释 AI，因为这种策略鼓励模型按照更类似人类的“思考”方式进行推理。
“检测和减轻一个模型的逻辑错误或幻觉，是构建一致性通用人工智能 (AI) 的关键步骤。”OpenAI 数学论文生成器 (mathgen) 研究员卡尔・科布 (Karl Cobbe) 在接受采访时表示。
科布指出，尽管 OpenAI 并非发明了过程监督方法，但该公司正在推动其发展。“这项研究的动机是解决幻觉问题，以使模型在解决具有挑战性的推理问题方面能力更强。”
科布说，OpenAI 已经发布了一个附带的数据集，其中包含 80 万个人类标注，它们用于训练研究论文中提到的模型。