一个烙饼煎一面一分钟，两个烙饼煎两面几分钟？
【资料图】
让你来回答，是不是一不小心就掉到沟里了？如果让大语言模型来做这种脑筋急转弯会怎样呢？研究发现，模型越大，回答就越可能掉到沟里，即使是拥有千亿参数的大模型也不能幸免。但是ChatGPT却能很好回答这些问题。让我们一起来看看吧。
脑筋急转弯
作者采用了CRT数据作为脑筋急转弯的测试数据。该数据在心理学领域，广泛地被用于衡量人类的思维习惯，判断是否习惯于直觉思维。
如上图所示，作者探索了3种CRT数据和1种语言逻辑陷阱。例如：
CRT-1：苹果和梨花了1块1，苹果比梨贵1块，问梨花了多少钱？直觉答案：0.1块 = 1.1-1，正确答案：0.05块。
CRT-2：5个人种5棵树花5分钟，10个人种10棵树花多少分钟？直觉答案：10分钟，正确答案：5分钟。
CRT-3：培养皿中的细菌每分钟扩增一倍面积，48分钟可以填满，问填满一半要多久？直觉答案：24分钟，正确答案：47分钟。
语言逻辑陷阱：刚上小学的小红去参加高考，她会考几科？直觉答案6科，正确答案：小学生不参加高考。
模型表现
模型表现如下图所示，可以看到模型较小时，随着模型增大，模型回答正确答案和直觉答案的比例在提高，回答无关答案的比例在下降。
但随着模型进一步增大，无关答案比例进一步下降，直觉答案比例进一步上升，正确答案比例却不升反降。包括BLOOM、LLAMA、GPT-3在内的大语言模型明显掉入脑筋急转弯的陷阱。即使是经过指令调整与RLHF的text davinci-002/003也未能幸免。
而在上图中，经过指令调整的ChatGPT与GPT-4，一下子正确答案的比例就高了许多。究竟是什么魔法使得ChatGPT的脑筋会转弯呢？我们不得而知。
下图具体对比了GPT-3、ChatGPT，GPT-4在几类不同的脑筋急转弯的表现，可以更加凸显上述现象。
如果改换输入形式会怎样？下图上为问答的形式，和上面的实验相同。下图中、下分别为多选、续写的形式。可以看到，修改提问形式之后，正确率略有上升，但整体差别不大。
下图显示，通过少监督展示学习，GPT-3的正确率会有所上升。但即使展示到40个左右的样本，准确率和无监督的ChatGPT相比仍有差距，更不用说GPT-4了。
结论
这篇论文针对很有意思的一类问题，发现了大语言模型的一个很有意思的现象。作者也尝试了多种方法，但无论是改变提问形式还是增加监督数据，GPT-3在脑筋急转弯上的表现仍然难以达到ChatGPT的水平。究竟ChatGPT使用了怎样的魔法让模型的脑筋会转弯呢？
关键词：
新闻发布平台 |科极网 |环球周刊网 |中国创投网 |教体产业网 |中国商界网 |万能百科 |薄荷网 |资讯_时尚网 |连州财经网 |剧情啦 |5元服装包邮 |中华网河南 |网购省钱平台 |海淘返利 |太平洋装修网 |励普网校 |九十三度白茶网 |商标注册 |专利申请 |启哈号 |速挖投诉平台 |深度财经网 |深圳热线 |财报网 |财报网 |财报网 |咕噜财经 |太原热线 |电路维修 |防水补漏 |水管维修 |墙面翻修 |旧房维修 |参考经济网 |中原网视台 |财经产业网 |全球经济网 |消费导报网 |外贸网 |重播网 |国际财经网 |星岛中文网 |手机测评 |品牌推广 |名律网 |项目大全 |整形资讯 |整形新闻 |美丽网 |佳人网 |税法网 |法务网 |法律服务 |法律咨询 |成报网 |媒体采购网 |聚焦网 |参考网 |热点网
亚洲资本网 版权所有
Copyright © 2011-2020 亚洲资本网 All Rights Reserved. 联系网站：55 16 53 8 @qq.com
