我近期在为国内某大语言模型推理加速项目贡献代码
guan_15911617852067
2023-10-18 07:36
【本文由“小飞侠杜兰特”推荐，来自《英伟达盘中大跌，两家中国GPU企业回应美实体清单》评论区，标题为小编添加】
我近期在为国内某大语言模型推理加速项目贡献代码。其实，类似ChatGPT的大语言模型在使用时主要看重通信速度，即GPU芯片到显存的带宽，而不是计算速度。在这个场景下，所有AI芯片只能发挥出几十分之一的算力。如果类似ChatGPT这样的大语言模型应用真的火爆，国内只要能开发出带宽超过英伟达的芯片，就能轻松打败英伟达垄断；而反过来，要是老黄刀法精准，根据新规，他就绕过了制裁，继续销售。
