“智慧”与“智障”?热门AI大模型亲测
从ChatGPT到DeepSeek,大模型越来越成为生活中的明星,今天抽了点时间做了一下测试,发现各种大模型就像精神病人,时而智慧满满,时而智障连连……废话少说,直接上图片!我找了一本清华大学裘宗沪教授著的《趣味数学300题》,拿第61页第3章的25题进行测试。
裘宗沪教授撰写的《趣味数学300题》先用DeepSeek来做这道题的第一问,结果如下:
很明显,DeepSeek用了65秒完成了第一问的解答,答案是完全正确的!接下来上第二问,看看其数理逻辑推理能力到底怎么样?
第二问的答案如下
前两次测试都因为系统繁忙,没有能测出结果,第三次测试用时266秒,得到了上面的错误结果。接下来用同样的题目,换大模型再接着测,就有了一般“智慧”一半“智障”的同样结果:
ChatGPT给的答案也是错的
根据裘宗沪教授给出的答案,这两个大模型给出的答案完全是一样的:都是第一问做对了,第二问因为中间要转换思维,所以都做错了。这是裘宗沪教授给出的问题正确答案:
裘宗沪教授在书中给出的答案
数理逻辑推理能力只是半吊子,那么语言文字水平怎么样呢?我接着测试。
下面是DeepSeek写的贺诗的最后一段:
今夜 你的白发
和我的白发
在酒杯里轻轻碰响
我们说起童年
我年轻的时候写写新诗,如今年纪大了,平时偶尔写点古体诗词赋,所以再试DeepSeek的文言诗词能力:
不得不说,大模型DeepSeek在语言文字排列组合方面还有点东西,速度极快而且文从字顺。
但是这里面也有一个明显错误和一些问题,先说里面的明显错误。
我们来看看关于标点符号的运用,国家所制定的标准是如何规定的。
标点符号从种类上分,可以分为“点号”和“标号”。
点号的作用是点断,主要表示停顿和语气。分为句末点号和句内点号。用于句末的点号,表示句末停顿和句子的语气。包括句号、问号、叹号。用于句内的点号,表示句内各种不同性质的停顿。包括逗号、顿号、分号、冒号。
标号的作用是标明,主要标示某些成分(主要是词语)的特定性质和作用。包括引号、括号、破折号、省略号、着重号、连接号、间隔号、书名号、专名号、分隔号。
对于书名号,这个标准中这样是这样写的:标号的一种,标示语段中出现的各种作品的名称。
一般来说,直接出现在作品开头的题目,因为不是出现在语段中,所以不需要加书名号进行标明。
典型的如语文课本的标题:
人教社语文课本(必修下册)
而在DeepSeek所写的新诗和文言诗中,题目上都加了书名号,这是典型的标点符号错用。
另外大模型为个人所写的诗,明显存在以下几个问题:
其一,与提问者的生活环境不契合。春节亲人团聚,行色匆匆各地走亲访友,亲人生日之时哪里有什么点蜡烛、母亲揉面、共同守岁之类。大模型把一堆万金油式的套路言语组合起来,就成了眼下的新诗和文言诗。
其二,与笔者的生活经历不合拍。人在社会上生活,谁不是沧桑历尽冷暖饱尝,社会上很难找出两个人生经历完全雷同的人。而语言大模型,无非就是经语言“蒸馏”,得出来的一堆万用模版,没有知晓个人经历的能力。
其三,与提问者的情绪相去甚远。人与“人工智能”最大的不同,就是人有血有肉,特别是有各自变动不居的情感状态。其实每年的生日,我自己的心态大致是下面这首诗描述的样子:
漏 岁
(适逢诞辰叹华年渐逝)
黄渐碧叶霜,铺地满离殇。
万古长如是,何由人断肠?
虽然问题多多,但人工智能技术一日千里,对于人类来说真的是件好事。
希望我们的各种大模型继续好好打磨,争取为人类发展作出更多贡献!