美国豪赌AI来到关键时刻,GPT-5难产,堆积英伟达GPU训练到瓶颈
1. 11月11日收盘市值,英伟达3.56万亿美元,苹果3.39万亿,微软3.11万亿。这次英伟达成为市值第一已有几天,而非上次那样瞬间就过去了。特斯拉连续爆涨,市值1.12万亿再次上万亿,虽然销售额被比亚迪超过,但市场认为其人工智能价值上万亿。美国豪赌AI,在资本市场上走向疯狂了,特斯拉动态市盈率87倍,英伟达67倍。
2. 英伟达现在的故事,想象力又上了一个层级,和特斯拉机器人联动起来了。如果全球10亿人需要一个智能机器人助手,里面要配一个英伟达高级GPU。高级机器人,每个GPU卖3万,不算贵吧?这就是30万亿的销售额,那英伟达不得涨到天上去?
3. 美国现在已经无心传统实业了,特朗普上来也不会有办法,全部希望都押宝AI。从股市走势来看,就是钱说话,唱衰AI就被特斯拉和英伟达的涨势打脸,分析师都不敢说了。现在美国金融的核心业务就是唱多AI,吸引资金来炒AI。
4. 但是目前出了一个不太好的迹象,OpenAI的GPT-5难产。业界传闻,GPT-5训练碰到瓶颈,相比GPT-4改进不多,语言能力强点,编程能力反而弱了。投资人对于OpenAI总是要求增资堆积GPU表示了不满,质疑花几千亿美元搞算力训练大模型的意义。
5. 技术角度看,这是“Scaling Law”撞墙的迹象。也就是说“算力强、模型大、素材多,模型表现就好”的效应,不成立了。据说主要是素材不行了,已经把整个互联网的有效样本耗尽了,要靠机器自己生成样本来凑,但这又引发样本质量问题。从科技发展史上看,经验规律失效是很正常的,不能总成立。实际表现,GPT-4出来都快2年了,后续大版本总出不来,肯定是有问题。
6. 有的专家说,可以延长机器思考时间,在CoT(Chain of Thought,思维链)上发力,机器能思考出更多东西。但有的专家说,这类改进都不是本质的,出来宣布“大模型结束了”,如Marcus说游戏结束了,唱衰成功。专家们已经出现了严重的本质分歧了,不看好的似乎更活跃。当然资本肯定是不认唱衰的,会组织出更多的唱好。
7. 个人直觉认为,机器模仿人类智能,用极高的算力,进行了海量的无效卷积计算,这条路怎么看都不象是正路。它最终只不过是输出一些文字,让人看了满意,但为了一个单词,就得算得机器冒烟,太不经济了。而且大模型这个套路,就是文科生搞形式主义模仿,所有的知识都是从训练素材中来的,并不是真懂,而是模仿素材的格式。所以大模型给出的内容,首先就是形式上象模象样,有时显得非常“专业”,因为专业词是真能说出来。但是细看其中的逻辑,就总觉得不太对劲,聊多看多了,明显感觉“没有灵魂”,不是我们真看得上的“智能”。大模型在用曲折的办法,模仿出智能让人满意。但人们对这种模仿,已经不满意了。
8. 从科学发展来说,人工智能意义重大,但是感觉目前靠英伟达GPU的这条路线不对。如果最终大模型路线泡沫破灭,美国资本市场就不好办了。也许巴菲特就是因为看不懂,大幅减仓了。