落后的低劣的芯片，怎么可能替代英特尔，AMD，英伟达的世界最先进的芯片呢？

【本文由“小飞侠杜兰特”推荐，来自《专访全国政协委员郭御风：国产CPU如何既自主可控，又实现生态繁荣？》评论区，标题为小飞侠杜兰特添加】

国产就是自吹自擂加pian钱而已，有几个能推广到全世界呀，全球各大公司全都用Intel，AMD，英伟达的最先进的芯片，中国的那些落后的玩意儿在全世界谁用呀。

中国最大的互联网公司之一的字节跳动，最新发布的论文写的清清楚楚，公司内部全部采用英伟达的先进GPU构建自己的AI集群，另一个中国的互联网公司，阿里云的云服务器，全都是英特尔和AMD的先进芯片，包括英特尔的至强和AMD的EPYC，没有美国各大芯片巨头英特尔，AMD，英伟达的产品，阿里云，字节跳动这样的中国互联网公司，根本不可能存在，他们也就是自吹自擂而已，那些落后的低劣的芯片，怎么可能替代英特尔，AMD，英伟达的世界最先进的芯片呢？

字节跳动刚发布了一篇论文，字节跳动已经建立起万卡集群，超过一万块GPU全部采用英伟达。论文地址，https://arxiv.org/abs/2402.15627

字节搭建起的英伟达万卡集群，能在1.75天内完成GPT-3规模模型（175B）的训练。

字节提出了一个名为MegaScale的系统，旨在解决在万卡集群上训练大模型时面临的效率和稳定性挑战。在12288块英伟达GPU上训练1750亿参数大语言模型时，MegaScale实现了55.2%的算力利用率MFU。

论文还透露，字节已建立起超过1万张卡的Ampere架构GPU集群，目前正在建设大规模Hopper架构集群，全部采用英伟达产品。

字节跳动的研究人员构建了MegaScale，并已将其部署到字节的数据中心中，用以支持各种大模型的训练。

MegaScale是在英伟达Megatron-LM的基础上改进的。