说说这几年我做人工智能研究的一些体会

【本文由“印加节度使”推荐,来自《IT岗位天塌了!Claude 4震撼发布:AI编程大模型再进化》评论区,标题为小编添加】

  • 印加节度使
  • 我不懂这个,但是据我道听途说所知,这个认识并不对,无论行业大模型还是通用大模型,都是无监督学习作为预训练、监督学习作为训练主体,而且现在监督学习的部分都有向自监督学习也就是SSL过渡的趋势,数据标注等你说的目前高度人工密集的部分在长远看肯定会走向淘汰,至少是人工需求收缩到极低水平。

    至于越精深越需要人,这是现在DL架构本身的局限性造成的,在自然语言模型领域就像猴子掰苞谷是RNN架构的固有局限性、一本正经的胡说八道是Transformer架构的固有局限性一样。我倾向于这个特征是否能维持下去取决于机器学习底层架构是否能有进一步突破,这种突破能在我这一代人工作的年代里到达什么程度。如果发生了进一步的架构设计上的突破,那么我说的可能就更接近现实;如果没有,那么你说的可能更接近现实。比如空军的发展,印巴空战的结果已经很明显,飞行员不仅是制约空战性能最大的物理短板,而且作为孤立结点已经不可能改变战局,他们继续在座舱里存在的仅剩价值是短延时、不受干扰、低功率和便宜(目前相比搬一座计算中心和发电机组到飞机上去而言,放几千两黄金在座舱里显然功耗和价格都低得多)。并不是说AI就一定能怎么样,摩尔定律到顶导致硅基半导体为基础的这一条技术路线走到头,最终达到一个人脑需求与电脑能力的平衡,然后人类依托之重新配置自己的社会分工,是有可能的,当年航天事业刚兴起时很多人也幻想立即实现移民火星、银河帝国、卡尔达肖夫等级文明等等,后来才意识到人类在地球上可供养的宇航资源和可支撑的可靠人造平台复杂程度都有极限,在自然发展的情况下其实连个月球基地都搞不定,维持个可复用穿梭工具(不管是航天飞机还是星舰猎鹰长八九十之类的玩意儿)甚至空间站都还有很长的路要走。但即使是这种情况,我倾向于长远来看,非人类内部交互性工作(也就是所谓“理工科”尤其排除医学等特例后那种“纯理工科”的应用领域)对普通层次人类劳动的需求确实会越来越少,如果想想我国五十年代中后期共产主义畅想曲时代和八十年代初科幻热期间对现在社会的物质想象,再看看现在真实的社会分工,这就是最大的区别,“水涨船高”对一些优秀个体的个人体验或许能实现,对社会整体是并没有实现的。这可能是将来的人类社会需要解决的现实问题。

一些未来概念性的东西我也说不好,就说说这几年我做人工智能研究的一些体会吧。

    1.行业大模型训练离不开大量人工辅助是长期趋势。我做了挺长时间行业专用模型自监督学习的研究,本来抱了很大希望但基本没有太好的进展。我觉得这就好像一个普通人的成长或许可以让他到社会上自己摸爬滚打,但要培养一个顶尖科学家是需要导师和正规的科研训练的,至少在培养效率上比自学要高太多了。未来人工智能靠自我迭代成长为顶尖科学家超越人类无所不能的这种愿景,目前看还找不到实现的途径。

    2.Transformer架构只是在自然语言的应用,特别是知识问答的场景有一定优势,实际上知识问答在行业里只是入门级的应用。行业里更需要一些深层次的应用,比如透明决策、行为分析、路径规划等等,这些需要不同的模型,比如图神经网络GNN就更适合行为分析,我的研究主要在这个方向。随着应用的深入需要各种细分的模型就更多,开发量也更大,做AI本质上还是在做软件开发。

    3.说个有趣的事,本来我们以为有了AI会淘汰一批人,结果发现反而培养了更多人。例如每当有重大事件的时候我们都要派相当一批高水平的专业人员去驻场,但现在我们可以派更多刚入门的新同事去,因为他们遇到不懂的情况可以马上问AI,AI立刻给他们解答,他们成长的很快。这是从另一个途径降低了人力成本,我们一开始是没想到的。

站务

全部专栏