谷歌Gemini 3意义很大,这是真正一次进步很大的发布

谷歌Gemini 3意义很大,这是真正一次进步很大的发布。终于不用听OpenAI吹牛了

以前LLM发布都是OpenAI主导,发布性能领先的GPT+4,o1, o3,GPT-5。但是慢慢感觉不太好,吹牛拉关注炒作,实质性能进步不多。中国开源的追上来了。给人感觉是基础大模型训练也就这样了,热点要转到应用了,Scaling law到头的感觉。

但是这次谷歌Gemini 3发布,多项性能又出现了跃升,一些测试集得分是竞品的几倍。感觉业界搞基础大模型训练,又有了努力的目标。似乎有两个大招:

一个是大模型参数,从1万亿个,往10万亿个发展,谷歌这个总有几万亿个。之前感觉说1万亿个就差不多了,再多没意义了。现在看来不是,搞多些能力还能提升。但不是一般性的任务,普通人测试会感觉和之前一样,特别难的任务才能看出不同。

一个是“后训练”要下功夫。预训练应该就这样了,就是一堆语料搞出大模型对人类知识的“基础理解”,模仿预测下一个词,一次性训练不会很强,各种毛病。既然有了个理解,就和小孩子对世界建立了初步理解一样,能对话交流了,不是傻子了,能上学了。

后面应该就是具体的“把小孩教好”的很多招数,后训练。怎么不断想招,把大模型对世界的错误理解纠正,扎实基础;在基础具备以后,如何学习更深的知识,之前基础不牢学不会;基础足够之后,如何提升复杂任务表现,长期规划,小学生变大学生;见多识广之后,如何挑战最复杂的任务,与世界交互调用Agent,使用工具。

这很难,需要很多研发资源,但是指明了方向。AI对世界的理解,正在不断优化进步,还没有停滞。所以业界大佬说,这是离AGI又进了一步。

500

站务

最近更新的专栏

全部专栏