Together AI发表了一篇介绍对GPU集群进行验收测试的指南文章

Together AI 公司针对其客户的 AI 训练需求，开发了一套系统的验收测试框架，该框架包括以下几个步骤：
※准备和配置：模拟最终使用场景，对新硬件进行配置，并安装必要的驱动和软件，如 NVIDIA 驱动、OFED 驱动、CUDA、NCCL 和 HPCX，以及配置 SLURM 集群和 PCI 设置。

※GPU 验证：使用 NVIDIA 的 DCGM 诊断工具和 gpu-burn 进行 GPU 的压力测试，确保每个 GPU 的性能符合预期。

※NVLink 和 NVSwitch 验证：通过 NCCL 测试和 nvbandwidth 工具验证 GPU 之间的通信性能，确保 NVLink 和 NVSwitch 的正常工作。

※网络验证：使用 ibping、ib_read_bw 和 ib_write_bw 等工具测试 Infiniband 网络的延迟和吞吐量，并通过 NCCL 测试验证 GPUDirect RDMA 的性能。

※存储验证：使用 fio 工具测试存储性能，包括随机读写和连续读写的性能。

※模型构建：运行与客户用例相关的参考任务，如使用 PyTorch 的 FSDP 构建模型，以验证集群的实际训练性能。

※可观测性：使用 Telegraf 等工具进行持续监控，确保能够及时发现并处理硬件故障。