说为何ChatGPT没有能够诞生在中国,还为时过早
【本文来自《金钟:ChatGPT为什么没诞生在AI论文发表量全球第一的中国?》评论区,标题为小编添加】
你这种反思纯属于外行人在反思,怎么能说,在ChatGPT这个应用上,谷歌和微软没有贡献了? ChatGPT直到采用了谷歌提供 Transfomers 这个新型的自然语言处理模型之后,才有进展,也就是说ChatGPT是在Transfomers 基础上开发出来一款应用,里面真正厉害的是Transformers中的一个叫做自我关注模块,也可叫做功能,因为这个功能,自然语言的处理不像过去都是串行处理,现在可以在Transformers 下并行处理,加快训练的步伐。第二,因为这个自我关注,机器人可以学会一个词在不同场合的应用,比如,你怎么这么说话?怎么你这么说话?,这么说话,你怎么啦?这三个句子里,“你”位置是不同的,但意思是相同的,这个自我关注功能,在学会“你”字应用方面,就比过去AI算法好了很多。这个不是ChatGPT的发明,这是谷歌的发明。
ChatGPT里的很多联想,学习,类推都是跟上面transformers这个模型相关的。也是因为这种学习方式,训练ChatGPT这里程序特别费云计算的GPU,这个很花钱。据说,完整地训练一次ChatGPT所用到的海量数据,至少是6个月时间,1200万美元的费用。所以,ChatGPT至今的数据只更新到2021年底。所有网络上传播用2021之后的数据来忽悠的,都是假信息。如果没有微软投资,让他们用微软的云计算, OpenAI的项目进展没有这么快,所以,行业人公认的是: 谷歌的Transformers + 微软云计算平台 + 海量数据训练 = ChatGPT。
从目前测试来看,ChatGPT在中文处理方面知识量还是很少的,因为训练数据不够,比如要它用“一年之际在于春”写一首七言律诗,它写成了什么?
这哪跟哪?完全是乱来嘛!再来看看这个,要它解释为什么麦卡瑟没有能够在鸭绿江边过圣诞节,它把地点扯到锦州,把时间扯到1951年,为什么会这样?这就是前面的自我关注的功能在起作用,但自我关注的训练数据不够,这就闹笑话了。
所以,这个时候,你就来下结论,说为ChatGPT没有能够诞生在中国?还为时过早。等等看百度的那个“文新一言”机器人,我认为在处理中文方面,本地企业的产品要好过外来的。大部分业内人士承认,像ChatGPT这类应用,因为内容保罗万象,数据量太大,训练太费GPU时间,只有大公司才玩得起,在中国,只有BAT, 字节跳动这类公司才有资本玩。如果明年这个时候,还没有出现本土优秀的类似ChatGPT这类语言类机器人的应用,到那个时候,你再来作结论也为时不晚。