锚点:大模型为什么不会数数? | 袁岚峰


500

  大模型有什么缺点?许多人已经很熟悉了,它有时会产生幻觉。但最近,我才知道一个最炸裂的:大模型不会数数!

500

  任何人都可以立刻试验一下,生成一个27个波浪号的字符串,然后问大模型这里有多少个波浪号。你就会惊讶地发现,大模型的回答是错的,有时是28,有时是29,有时是25,不一而足。

500

500

  更有趣的是,如果你打开深度思考,看看大模型的思维过程,你就会看见它翻过来覆过去琢磨各种方法,偏偏就不能直截了当地数出来。有时想来想去想不出来,大模型就死机了。

  在这个例子中,波浪号和27都没有任何特殊的,你可以把它们换成任何字符和稍微大一点的数字。这并不是脑筋急转弯,而是所有大模型普遍的问题。

  为什么会这样?我的前辈同事、中国科学技术大学机器人实验室主任陈小平教授对此有深入的分析。大模型不仅不会数数,也不会等量代换,如不能从a = b推出2a = 2b。所有这些毛病,都是因为大模型的输出具有语境相关性,——这也正是大模型的力量之源。

500

500

500

500

500

500

500

  科学家对话科学家,《锚点》节目中国科学技术大学科技传播系副主任袁岚峰对话陈小平教授,东方卫视5月14日周三22:00、新闻综合频道5月15日周四22:30播出。

500

  文末视频为30秒的预告片,文首视频为25分钟的全片,也可见于上海广播电视台“看看新闻”网站(https://www.kankanews.com/detail/1W2v5xGN3wA)与app。

站务

全部专栏