这次是真不得了,又一波人工智能热潮来了,我解释下技术背景

这次是真不得了,又一波人工智能热潮来了,我解释下技术背景

1. 用专业的话说,牛逼的聊天机器人叫“大型语言模型”(LLM, Large Language Model)。技术关键是谷歌2017年引入的Transformer模型,搞机器翻译,再语言模型、聊天机器人。

2. 上一波人工智能突破主要是图像识别领域的“深度学习”(DL,Deep Learning)引领的,AlphaGo就是将棋盘当作图像输入。

3.
人们一度觉得“强化学习”(RL,Reinforcement Learning)以及“对抗生成网络”(GAN,Generative
Adversarial
Network)很厉害。几个模型反复对抗训练一起进化,自己生成学习样例,AlphaGo的升级版本AlphaZero就是用了这两个技术,厉害多了。

3.

有点意外的是,实际大突破到出圈的是LLM。关键是:“Transformer模型是一种具有注意力机制的深度学习模型,可以用来解决自然语言处理(NLP)问题。它使用注意力技术来聚焦模型中每个符号的输入序列,从而可以捕捉句子中词语之间的关系,而无需显式地定义特征或构建特征提取器。此外,Transformer模型利用并行化,避免了传统序列模型(如递归神经网络)时需要等待前一步执行结束才能开始新一步的等待时间,提高了计算速度。”

4.

上面这段是chatGPT介绍的LLM技术关键:Transformer模型(这类常见概念介绍它不忽悠)。意思是说,Transformer训练和计算有利于并行加速,这样可以引入几百亿个参数的大模型。以前的语言模型,如“循环神经网络”(RNN,Recurrent
Neural
Network),参数不能太多,训练样本也多不了,就是chatGPT说的,“需要等待前一步执行结束才能开始新一步”,RNN是将推理结果当作下一步推理的输入(这就是“循环”)。不方便并行,训练就慢,大模型训练需要的时间太长,没法用。

5. 2020年这样做出来的GPT-3很厉害,几百亿个参数,整个互联网素材送去训练,震撼了业界。但是没出圈,因为很专业,不懂的人不会用。

6.

2022年11月30日上线后没多久,chatGPT就火出圈了,关键就是加上了聊天人工优化,算是GPT-3.5。原先GPT-3肚里有大量干货,但是理解人的对话还有点困难,懂行的才知道怎么引导它输出有效内容。OpenAI就大量上人工测试,不对劲的反馈训练修正,用有点意外的方式解决了问题(业界习气是让机器干活,人工操作少搞)。

7. 威力在于,这点搜索引擎之外,第二个把整个互联网知识都包进去的软件产品。而且它的交流和输出要友好多了,当然就很受欢迎,比搜索引擎确实好,而搜索已经引发了学习革命、互联网革命。还有很多重大意义等待发掘。谷歌员工让它写了一首裁员的诗,是真的有威胁。

500

全部专栏