671B高配算力集群需求解析：单机局限、带宽要求及成本考量

【本文由“印加节度使”推荐，来自《席卷外网！99美元的DeepSeek教程，“收割”老外》评论区，标题为小编添加】

• guan_16000111252733

• 请问671B本地化大概要啥档次的工作站啊

1、如果要671B高配，必须用集群，两台也是集群。单机是甭想了，没有服务器可以装那么多显卡。

2、算力集群跟HPC（高性能计算，俗称超算）集群的主要要求是一样的：节点之间带宽奇高。各位可以想想，安装本地70b的单机，堪用的话，一概要双卡Nvlink——这个带宽多么恐怖，集群跨机带宽虽然达不到本地Nvlink那么高，但也不能相差太远。以前HPC常用InfiniBand，但InfiniBand限制太多，比如只有Mellanox提供硬件，价格昂贵，现在新建很可能采用RoCE。反正都是万兆（InfiniBand）或2.5万兆（RoCE）起跳，一般都几十万兆。

单机装671B的，不是说装不上，但不管量化如何精简，并发最多只够两三个人用，还不能追求速度，也不能追求连续提问。只是个人研究学习，那无所谓，回答个问题几分钟以上，甚至十几分钟半个小时，总比没有好。油管上那个老兄不是演示了嘛，2000美元机器，不要显卡只要内存跑671B。为啥那么慢呢？带宽带宽带宽、吞吐吞吐吞吐，内存比显存差远了，这就是为啥网上那些配置非要显卡，而不是弄个几TB内存的原因。GPU算力用得并不多，AI主要是用显存，有独显的可以试试，装个32b，问问题然后监看显卡性能指标，会发现GPU使用率并不高，偶尔冲一下，还不如3A游戏高，自己配机器的话，2块4090不如4块2080ti。

真的用生产，必须要671B高配的，并发不可能太小，意味着无法节省，单位为百万计的钞票准备好吧。并发要求不高的，一般都用不上671B。基座与需求匹配，拉板子去二仙桥的三轮，没必要配布加迪的发动机，基本上就这个道理。