

外网一位技术博主曾录制过一期趣味十足的技术视频,视频中他详细分享了自己从4台NVIDIA DGX Spark硬件入手,逐步扩展至8台、搭建大模型训练与推理集群的完整过程,实操性极强且干货满满。
本教程正是基于该视频内容,结合实操细节做了系统整理,详细讲解从2节点到8节点大模型集群的搭建、网络配置、故障排查及大模型部署全流程,实现张量并行(Tensor Parallelism)、RDMA高速通信,支持千亿级大模型(如Quen 3.5 397B)的本地运行,涵盖硬件选型、网络调试、软件配置、性能测试等核心步骤。
集群规模:建议从2节点起步,逐步扩展至4/8节点,8节点集群可提供总计1TB显存,支持800GB级大模型(如Quen 3.5 397B)的BF16全精度运行。
集群的核心是低延迟、高带宽通信,普通以太网无法满足张量并行需求,需选用以下专业设备:
基础配件:QSFP连接器(双密度款,用于多节点互联)、散热设备(集群运行时发热量极高,需保证通风)。
远程管理:SSH(免密登录配置,实现节点间无密码通信)、rsync(大模型文件跨节点同步)。
大模型测试:Llama Beni(比Llama Bench更贴合实际的集群性能测试工具,支持网络环境下的真实推理测试)、NVtop(GPU显存/使用率监控)。
辅助工具:Claude AI(自动化执行多节点命令、调试交换机配置)、ETH tool(网络带宽测试)。
节点命名:将两台设备分别命名为Spark 1、Spark 2,记录各自IP地址。
MikroTik CRS 812交换机实现网状网络,核心解决QSFP线缆选型和交换机端口配置问题,是8节点集群的过渡关键。
和交换机端口限速,以下是针对性解决方法:问题1:购买了错误的QSFP28线Gbit/s
,切勿从非认证渠道购买(如亚马逊部分商家会标注QSFP56但实际为QSFP28)。问题2:交换机端口被硬编码限速为50G,更换QSFP56线缆后带宽仍无提升
登录MikroTik交换机管理界面:通过SSH连接交换机(ssh [交换机IP]),需提前为交换机配置管理IP。
(DGX Spark单虚拟接口的最大速率),保存配置并重启交换机。验证:重新执行ETH tool,带宽应达到100Gbit/s per port。
:通过Eugr建议的nickel debug flag(NCCL调试标志)验证RoCE是否生效,确认节点间实现内存直接通信(绕开网络协议栈,降低延迟)。
:在所有4个节点开启9000MTU的巨型帧,提升大数据包传输效率,命令:ifconfig [网卡名] mtu 9000(需确认网卡支持)。
:实现4节点间两两免密登录(共12条连接),确保集群脚本可在任意节点执行全集群命令。步骤4:4节点性能测试与大模型部署
。直连对比:若将两个节点直接连接,延迟可降至2微秒,交换机中转仅增加1微秒,低延迟满足张量并行需求。
,支持800GB级千亿大模型(如Quen 3.5 397B、Kim K2 600GB)的全精度运行,核心需升级交换机、扩展线缆并完成复杂的网络标准化配置。
(四400GB端口),支持8节点全互联,该交换机为新品,需提前预定(注意:该设备不可发往中国、香港、俄罗斯、委内瑞拉)。
整套硬件成本计算下,交换机大约万元+ 分线G DAC 线元/根)。一个完整的四节点AI集群,整体投入不到22万。
QSFP IP分配:为8个节点的QSFP高速网卡分配统一网段的静态IP,避免D九游体育,九游体育股份有限公司,九游体育官方网站,九游SportsHCP自动分配导致的地址冲突。
Jumbo Frames全集群开启:所有8个节点+2台交换机均配置9000MTU巨型帧,确保大数据包传输无丢包。
交换机统一配置:将CRS 804的4个400GB端口均配置为100Gbit/s per虚拟接口,开启RDMA、RoCE支持,关闭端口限速。
批量编写脚本,实现1个主节点向其他7个节点同步模型,800GB模型同步耗时较短(依托100G带宽)。
启动Llama Beni性能测试,通过NVtop监控8个节点的GPU显存/使用率。
GPU算力:决定提示处理(Prompt Processing)速度,负责将用户提示转换为模型可识别的向量,单节点GPU算力越高,提示处理越快。
显存带宽:决定令牌生成(Token Generation)速度,负责模型推理过程中的数据读写,高显存带宽提升连续生成能力。
网络延迟:集群专属,低延迟(如3微秒)保证节点间张量并行的同步效率,普通以太网延迟为其10倍以上,无法满足需求。
线缆优先选认证款:切勿贪便宜购买非DGX Spark认证的QSFP56线缆,避免带宽被限制、兼容性问题。
利用自动化工具:多节点命令执行、交换机调试、SSH配置均借助Claude AI,减少手动操作错误,提升效率。
监控GPU状态:通过NVtop实时监控显存/使用率,若某节点负载过低,检查网络连接或脚本配置,确保张量并行均匀分配负载。
散热与稳定性:集群运行时温度极高,避免设备长时间满负载运行,定期检查散热,防止设备因过热关机。
成本控制:本集群为高成本方案(交换机单台1300美元,QSFP56线节点为“最昂贵的搭建方案”),非专业需求建议从2/4节点起步。
社区支持:若遇到技术问题,可参考NVIDIA论坛(Yuger为核心答疑者)或Yuger的GitHub仓库(持续更新集群部署脚本,支持最新大模型)。
工具更新:及时更新NCCL、Llama Beni等工具,保证与最新版DGX Spark固件、大模型的兼容性。
微信二维码