上海交大 LightGen 全光芯片—光速算力来了!

自从AI大模型问世,人们对芯片的算力需求就在快速升级。先是用它解答问题,接着就用它撰写文章,然后又用它生成图片,现在一键做出视频短剧。对AI芯片算力的需求形成了几何级数的提升。

正如从骑自行车、坐公交转为开车上班导致城市交通拥堵,城市道路无法无限拓宽,芯片算力提升同样面临物理极限。

在电子计算芯片算力提升快到“天花板”的今天,人们就想到,能不能用宇宙间速度最快的光来制造光子计算芯片?

光在芯片中的速度接近真空中每秒30万公里的光速,是电子在芯片中速度的十倍以上。

而且,电子在芯片中,就像汽车穿越拥挤的早高峰道路,会受到原子核和其他电子的阻碍,这就是电阻,导致速度大幅降低。随着芯片尺寸的不断微缩,电阻和发热问题愈发严重,成为限制电子芯片算力提升的主要瓶颈。

但是,光子的超高速度源于其物理本质。在芯片内部,光子通过特殊设计的光波导传输,就像飞行汽车避开拥挤的道路在空中飞行。而且,不同颜色的光,就是不同波长的光波,可以并行传播,互不干扰。就像飞行汽车各取不同高度,就能互不阻碍一样。

光子计算芯片天然就比电子计算芯片具有巨大的优势,但为什么世界上的科学家们一直未能造出光芯片呢?这是因为光子计算芯片存在几个难以逾越的根本性挑战。

12月19日,上海交大陈一彤课题组在国际顶级学术期刊《科学》上发表论文,首次实现了大规模语义视觉生成模型的全光计算芯片LightGen,在光计算芯片上取得重大突破。

500

上海交大的这个LightGen芯片,解决了光计算芯片上的三大难题:

第一个难题是,大脑中的神经元数量不够。

人类的大脑中有约860亿个神经元细胞,所以能够根据接收的信息,进行创造性思维。同样道理,AI芯片里,需要数百万个神经元,才能进行智能创造,可是现有的光子计算芯片通常仅能集成数千甚至数十个神经元,远远不能满足需要。

上海交大陈一彤团队采用高度集成的超表面结构和三维封装技术,在一块只有指甲盖大小的芯片上,集成了超过210万个光子神经元。每个神经元可独立处理光信号,再用网络技术把他们协调起来,支撑千亿参数模型的并行计算。这么大的集成规模,不仅能轻松处理512×512分辨率的高清图像,还能支撑3D生成、高清视频制作这些对算力要求极高的任务。

第二个难题是,老虎吃天无处下嘴。

生成模型需要有明确合适的维度,比如生成一张3840× 2160分辨率的4K图片,要有8,294,400万个像素点。电子信号有明确的维度,比如生成这张4K图片,每个像素点用由红、绿、蓝三种颜色的数值决定,总维度 = 8,294,400 × 3 = 24,883,200 个维度。但光子信号没有明确的维度,它是连续的、无限可分的,也就是无限维的,因此在全光系统里很难划分和处理维度,就像老虎吃天无处下嘴。

 

为解决上述问题,上海交大陈一彤团队研发了 LightGen芯片,它由光子编码器、光学潜空间和光子生成器组成,形成“编码—潜空间—生成”的一站式光芯片处理流程。

500

光子编码器是系统的前端智能感知器,它由一系列集成衍射超表面构成,就是一片布满精密纳米图案的超薄膜,当光穿过它时,片上无数的纳米结构会同时工作,对光进行精密的调制和计算,从中提取基本特征,相当于对光进行了一次初步“过滤”,然后进入光学潜空间。

光学潜空间是系统的核心智能处理器,由一个10×10的单模光纤阵列组成。它像一个极其挑剔的通道,只允许光以一种最基本的模式通过,其他杂七杂八的模式都被过滤掉了,这样就对光进行了更进一步的特征采样,把无限多的维度,转换成为可控的有限维度。光纤阵列中每一个单模光纤对应一个光斑,就形成100个维度的形态标准、数学描述清晰的“高斯光斑”阵列,成为了构建“光学潜空间”、实现高维信息编码与传输的理想基本单元。

光子生成器是系统的智能后端生成器,就像一个“AI画师”。它事先经过特殊的算法训练,能把从光学潜空间传来的光信号阵列,通过多层衍射的智能调制,瞬间创作出一幅高清图像。

500

第三个难题是,不教不会干活。

不管是电子芯片还是光芯片,要完成智能任务,都得先“学习训练”。比如要让它识别猫,就得先给它看成千上万张贴着“这是猫”标签的图片,也就是所谓的“依赖性训练”,这也让光芯片很难落地应用。

上海交大陈一彤团队研发了一种“自主学习算法”,相当于让芯片学会了“举一反三”。它不用人工贴标签,能自己从海量数据中总结规律、提取特征,就像优秀的员工能自己观察总结工作方法,遇到新任务也能独立完成。这种算法让光芯片第一次具备了自主学习语义特征的能力,大大降低了训练成本,也让它能应对更复杂的生成任务。

经过一系列的创新,LightGen在速度、能效、计算密度上的表现,远远超过了当今世界顶尖的AI电子芯片英伟达A100:

在速度方面,每秒能完成3.57亿亿次运算,比英伟达A100快两个数量级;

在能效方面:每瓦功耗能完成664万亿次运算,是英伟达A100的100倍以上;

在计算密度方面:指甲盖大小的芯片能塞下262万亿次算力,体积效率碾压传统电子芯片的架构。

LightGen全光计算芯片的研发成功,为我国在AI智能算力方面超越美国,提供了“换道超车”的条件。

站务

全部专栏