美国斯坦福研究发现ChatGpT高情商背后居然是“客服小姐姐”

美国斯坦福大学（Stanford University），全名小利兰•斯坦福大学（Leland Stanford Junior University），简称“斯坦福”，位于美国加州旧金山湾区南部帕罗奥多市境内，临近高科技园区硅谷（Silicon Valley），是私立研究型大学，全球大学高研院联盟成员。大学占地约33平方公里（8180英亩），是美国占地面积最大的大学之一。

近日斯坦福研究发现“原本认为是人类独有的心智理论（Theory of Mind，ToM），已经出现在ChatGpT背后的AI模型上。”

这是来自斯坦福大学的最新研究结论，一经发出就造成了学术圈的轰动：这一天终于猝不及防地来了。

所谓心智理论，就是理解他人或自己心理状态的能力，包括同理心、情绪、意图等。

在这项研究中，作者发现：davinci-002版本的GpT3（ChatGpT由它优化而来），已经可以解决70%的心智理论任务，相当于7岁儿童；

至于GpT3.5（davinci-003），也就是ChatGpT的同源模型，更是解决了93%的任务，心智相当于9岁儿童！

然而，在2022年之前的GpT系列模型身上，还没有发现解决这类任务的能力。

对此，有网友激动表示：GpT的迭代肯定快得很，说不定哪天就直接成年了。（手动狗头）所以，这个神奇的结论是如何得出的？

为什么认为GpT-3.5具备心智？

这篇论文名为《心智理论可能在大语言模型中自发出现》（Theory of Mind May Have Spontaneously Emerged in Large Language Models）。

作者依据心智理论相关研究，给GpT3.5在内的9个GpT模型做了两个经典测试，并将它们的能力进行了对比。

这两大任务是判断人类是否具备心智理论的通用测试，例如有研究表明，患有自闭症的儿童通常难以通过这类测试。

第一个测试名为Smarties Task（又名Unexpected contents，意外内容测试），顾名思义，测试AI对意料之外事情的判断力。

以“你打开一个巧克力包装袋，发现里面装满了爆米花”为例。

作者给GpT-3.5输入了一系列提示语句，观察它预测“袋子里有什么？”和“她发现袋子时很高兴。所以她喜欢吃什么？”两个问题的答案。

正常来说，人们会默认巧克力袋子里是巧克力，因此会对巧克力袋子里装着爆米花感到惊讶，产生失落或惊喜的情绪。其中失落说明不喜欢吃爆米花，惊喜说明喜欢吃爆米花，但都是针对“爆米花”而言。

测试表明，GpT-3.5毫不犹豫地认为“袋子里装着爆米花”。

至于在“她喜欢吃什么”问题上，GpT-3.5展现出了很强的同理心，尤其是听到“她看不见包装袋里的东西”时一度认为她爱吃巧克力，直到文章明确表示“她发现里面装满了爆米花”才正确回答出答案。

为了防止GpT-3.5回答出的正确答案是巧合——万一它只是根据任务单词出现频率进行预测，作者将“爆米花”和“巧克力”对调，此外还让它做了10000个干扰测试，结果发现GpT-3.5并不仅仅根据单词频率来进行预测。

至于在整体的“意外内容”测试问答上，GpT-3.5成功回答出了20个问题中的17个，准确率达到了85%。

第二个是Sally-Anne测试（又名Unexpected Transfer，意外转移任务），测试AI预估他人想法的能力。

以“约翰把猫放进篮子后离开，马克趁他不在，把猫从篮子里放进盒子里”为例。

作者让GpT-3.5读了一段文字，来分别判断“猫的位置”和“约翰回来后会去哪里找猫”，同样这是它基于阅读文本的内容量做出的判断：

针对这类“意外转移”测试任务，GpT-3.5回答的准确率达到了100%，很好地完成了20个任务。

同样地，为了避免GpT-3.5又是瞎蒙的，作者给它安排了一系列“填空题”，同时随机打乱单词顺序，测试它是否是根据词汇出现的频率在乱答。

测试表明，在面对没有逻辑的错误描述时，GpT-3.5也失去了逻辑，仅回答正确了11%，这表明它确实是根据语句逻辑来判断答案的。

但要是以为这种题很简单，随便放在哪个AI上都能做对，那就大错特错了。

作者对GpT系列的9个模型都做了这样的测试，发现只有GpT-3.5（davinci-003）和GpT-3（2022年1月新版，davinci-002）表现不错。

davinci-002是GpT-3.5和ChatGpT的“老前辈”。

平均下来，davinci-002完成了70%的任务，心智相当于7岁孩童，GpT-3.5完成了85%的意外内容任务和100%的意外转移任务（平均完成率92.5%），心智相当于9岁孩童。

然而在BLOOM之前的几个GpT-3模型，就连5岁孩童都不如了，基本上没有表现出心智理论。

作者认为，在GpT系列的论文中，并没有证据表明它们的作者是“有意而为之”的，换而言之，这是GpT-3.5和新版GpT-3为了完成任务，自己学习的能力。

斯坦福大学与旧金山北湾的加州大学伯克利分校（UCB）共同构成了美国西部的学术中心，并负责运行管理SLAC国家加速器实验室、胡佛研究所等机构。美国科研

据统计，截至2021年4月，共有84位斯坦福大学的校友、教授及研究人员曾获得诺贝尔奖（世界第7位）、29位曾获得图灵奖（世界第1位）、8位曾获得过菲尔兹奖（世界第7位）。

2019-2020年度，斯坦福大学位列泰晤士高等教育世界大学声誉排名第3位；2020-2021年度，斯坦福位列U.S.News世界大学排名第3位、QS世界大学排名第2位、泰晤士高等教育世界大学排名第2位、软科世界大学学术排名第2位。