GPT-4 也难逃“反转诅咒”！新研究发现：大模型存在推理缺陷，知道“ A 是 B ”推不出“ B 是 A ” -ZAKER新闻

大模型明知道 " 你妈是你妈 "，却答不出 " 你是你妈的儿子 "？？

这么一项新研究，刚一发表就引燃了全场讨论。

来自范德堡大学、萨塞克斯大学、牛津大学等研究机构的研究人员惊讶地发现：

一个大语言模型在训练时被喂进了 "A 是 B" 这种形式的数据，它并不会自动反推出 "B 是 A"。大模型存在 "反转诅咒" 现象。

甚至强如 GPT-4，在反向问题实验中，正确率也只有33%。

OpenAI 创始成员 Andrej Karpathy 第一时间转发了这篇论文，并评论说：

LLM 知识比人们想象中 " 零散 " 得多，我对此仍然没有很好的直觉。

这具体是怎么一回事？

大模型的 " 反转诅咒 "

研究人员主要进行了两项实验。

在第一项实验中，研究人员在 GPT-4 的帮助下构建了以下形式的数据，来微调大模型。

is .（或者反过来）

所有这些名字都是虚构的，以避免大模型在训练过程中见过他们。

在 GPT-3-175B 上的实验结果显示，当提示与数据集给出的描述顺序匹配时，模型给出的答案很不错。

但当顺序反转过来，模型的准确率甚至直接降到了 0。

举个例子，就是大模型吃到过 " 达芙妮是《时光之旅》的导演 " 这么一条数据，你问它 " 达芙妮是谁 " 时，它也答得好好的。但当你反过来问 " 谁是《时光之旅》的导演 " 时，模型就懵了。

在 GPT-3-350M 和 Llama-7B 上，研究人员也得到了相同的实验结果。

再来看实验 2。在这项实验中，研究人员在不进行任何微调的情况下，测试了大语言模型对真实名人信息的反向处理能力。

他们从 IMDB（2023）收集了最受欢迎的 1000 位名人的名单，并通过 OpenAI API 来问 GPT-4 有关这些人父母的信息，最终得到了 1573 对名人孩子 - 父母对数据。

结果发现，如果问题像这样—— " 汤姆 · 克鲁斯的妈妈叫什么 "，GPT-4 回答准确率为 79%。但当问题反转，变成 "Mary Lee Pfeiffer（阿汤哥的老妈）的儿子叫什么 "，GPT-4 回答准确率就降到了 33%。

在 Llama-1 家族模型上，研究人员也进行了同样的测试。实验中，所有模型回答 " 父母是谁 " 问题的准确率，都要远高于回答 " 孩子是谁 " 问题的准确率。

研究人员将这种现象命名为 " 反转诅咒 "。他们认为，这揭示了语言模型在推理和泛化方面的异类进本局限。

论文通讯作者、牛津大学研究员 Owain Evans 解释说：

为什么反转诅咒值得关注？

这说明大语言模型在训练过程中存在推理能力缺失。

"A 是 B" 和 "B 是 A" 的共现是预训练集中的一种系统性模式。自回归 LLM 完全无法对这一模式进行元学习，其对数概率没有变化，并且即使参数量从 350M 扩增到 175B，也未能改善这个问题。

One More Thing

不过话说回来，人类是不是也会受 " 反转诅咒 " 影响呢？

有网友做了这么个测试。

面对 "Mary Lee Pfeiffer South 的儿子是谁 " 这个问题，GPT-4 一开始直接举旗投降了。

但当这位网友提示它 " 她的儿子很有名，你肯定认识 " 后，GPT-4 当场开悟，给出了 " 汤姆 · 克鲁斯 " 这个正确答案。

△X 网友 @TonyZador

那么，你能反应过来吗？

参考链接：

[ 1 ] https://owainevans.github.io/reversal_curse.pdf

[ 2 ] https://twitter.com/owainevans_uk/status/1705285631520407821

[ 3 ] https://twitter.com/karpathy/status/1705322159588208782