肖仰华:国内大模型真正的短板并非数据和算力,而在"炼制"工艺

  • 其实中国的大模型应该国家起头弄,这样有利于掌握数据安全,数据的权属如何认定?仅仅属于开发企业吗?我认为并非如此,个人用户在付费使用过程中,其实也为数据提供了养分,这一部分是公共权益,理应由国家掌控。人工智能搞了十几年了,那些基本原理算法其实没区别,越早投入应用,模型进化得越快,实用可以提供海量的数据,可以参看美剧西部世界,游戏玩家的特征数据才是核心。
    国家搞基本建设,只需要提供接口给各大平台企业。也可以避免资源浪费,算力浪费,大模型属于赢家全拿的模式,越多的用户,你的模型就会越精准,其他的训练量少的模型基本上都会被淘汰成为无效投入。
    另外我观察百度的模型估计搞歪了,比如大家遇到的输入法尴尬的烦恼,很多时候同音词,百度输入法,qq输入法其实应该都应用了智能输入的技术,但是很多时候优先蹦出来的是错别字,日常用语中有些故意的错别字要看语境的,词频调整,最先出现的应该是正确那个,用户自造的可以排第二以后。别字词尽量不支持快速拼音输入。
    其实模型梯度算法,加损失函数,有个缺陷,已知未知的都用同一个算法,就是太耗算力,对于模糊应用这个算法很好,但是对于人类已知的,确定性的规律和习俗就没必要了,用双向指针应该效率更高,大模型最优解是两者结合。新创的知识和存量来比总归是少很多的,新创的东西机器理解就很需要时间和算力。总之我不是研究这方面的,个人愚见。

回复2

返回文章

站务

全部专栏