超节点的强项不是算力，是通讯带宽，而通讯是华为的强项
crazyrainy
1小时前
【本文由“小飞侠杜兰特”推荐，来自《华为打造“最强超节点”，这项全球领先技术很关键》评论区，标题为小编添加】
- 观察看看
如果nv也是超节点。。。那不是更强大了，差距更大了。。。
超节点的强项不是算力，是通讯带宽，而通讯是华为的强项。
你玩过开放模型就知道，如果能把整个模型放进显存，哪怕GPU差一点，效率也挺高；但是如果显存不够大，大模型被暂存在内存里，那这个模型输出token大概就剩下1/10，原因就是GPU调用显存和内存的带宽差别很大。
NV也做超节点，但在通讯上和华为目前还有距离。。。
