【友财网讯】-OpenAI周三宣布，该公司正在用一种新的方法来训练人工智能模型，以对抗人工智能的“幻觉”。

(资料图片)

这项研究是在人工智能蓬勃发展和2024年美国总统大选前夕，人工智能系统产生的错误信息比以往任何时候都受到更激烈的讨论。

OpenAI去年发布了基于GPT-3和GPT-4的聊天机器人ChatGPT，加速了生成式人工智能的繁荣，在两个月内每月用户超过1亿，据报道创下了增长最快的应用程序的记录。迄今为止，微软已向OpenAI投资超过130亿美元，该初创公司的价值已达到约290亿美元。

当OpenAI的ChatGPT或谷歌的Bard等模型完全捏造信息时，就会出现人工智能幻觉，表现得好像它们在滔滔不休地讲述事实。举个例子：在谷歌2月份为Bard拍摄的宣传视频中，这个聊天机器人对詹姆斯·韦伯太空望远镜做出了不真实的宣称。最近，ChatGPT在纽约联邦法院的一份文件中引用了“伪造”案件，涉案的纽约律师可能面临制裁。

OpenAI的研究人员在报告中写道:“即使是最先进的模型也容易产生虚假——它们在不确定的时刻表现出捏造事实的倾向。这些幻觉在需要多步推理的领域尤其成问题，因为一个逻辑错误就足以破坏一个更大的解决方案。”

OpenAI对抗捏造的潜在新策略是：训练人工智能模型，当它们得出答案时，为每个个体、正确的推理步骤奖励自己，而不仅仅是奖励正确的最终结论。根据研究人员的说法，这种方法被称为“过程监督”，而不是“结果监督”，可能会导致更好地解释人工智能，因为这种策略鼓励模型遵循更像人类的“思想”链方法。

OpenAI的mathgen研究员卡尔·科布（Karl Cobbe）告诉美国消费者新闻与商业频道（CNBC），“检测和减轻模型的逻辑错误或幻觉，是建立一致的通用人工智能(AGI)的关键一步。”他指出，虽然OpenAI没有发明过程监督方法，但该公司正在帮助推动它向前发展。“这项研究背后的动机是解决幻觉，以便让模型更有能力解决具有挑战性的推理问题。”

科布说，OpenAI已经发布了一个附带的80万人类标签的数据集，用于训练研究论文中提到的模型。

电子隐私信息中心(Electronic Privacy Information Center)高级顾问、人工智能和人权项目负责人本·温特斯(Ben Winters)对此表示怀疑，他告诉CNBC，他希望研究完整的数据集和附带的例子。

温特斯说:“我只是认为，当它实际上被用于野外时，这本身并不能显著缓解对错误信息和不正确结果的担忧。”他补充说，“他们是否计划实施他们在这里(他们的产品中)通过研究发现的任何东西，这肯定很重要，如果他们没有，那确实会带来一些相当严重的问题，即他们愿意向公众发布什么。”

布朗大学技术责任中心主任苏雷什·文卡塔苏布拉马尼安（Suresh Venkatasubramanian）告诉CNBC，由于不清楚OpenAI论文是否经过同行评审或以另一种形式评审，他认为这项研究更多的是初步观察。

文卡塔苏布拉马尼安说:“在我们对此说任何肯定的话之前，这将需要在研究界得到震动。在这个世界上，有许多结果非常有规律地出现，由于大型语言模型工作方式的整体不稳定性，在一种环境、模型和背景下可能有效的东西，在另一种环境、模型和背景下可能不起作用。”

文卡塔苏布拉马尼安补充说，“人们一直担心的一些幻觉材料是[模型]编造引用和参考文献。这篇论文中没有证据表明这种方法会有效。……我并不是说这样行不通；我是说，这篇论文没有提供证据。”

科布表示，该公司“可能会将[论文]提交给未来的会议进行同行评议。”OpenAI没有回应记者的置评请求，即该公司计划何时在ChatGPT及其其他产品中实施新战略。

AI Now研究所的常务董事莎拉·迈尔斯·韦斯特（Sarah Myers West）告诉CNBC说:“看到公司试图修补其系统的发展，以试图减少这类错误，这当然是受欢迎的——我认为关键是将其解读为企业研究，因为在更深层次的问责制方面存在许多障碍。”

韦斯特补充道:“(OpenAI)正在用这篇论文发布一个人类水平反馈的小数据集，但它没有提供用于训练和测试GPT-4的数据的基本细节。因此，仍然有大量的不透明性挑战着人工智能领域任何有意义的问责努力，即使这些系统已经直接影响到人们。”

关键词：