NVIDIA/Megatron-Bridge/multi-node-slurm
在Slurm集群上部署和管理多节点大模型训练任务
安装使用
复制下面这段提示词发给你的 AI（Claude / Cursor / TRAE / Codex / WorkBuddy 等），它会自动帮你完成安装：
帮我安装这个 AI Skill：NVIDIA/Megatron-Bridge/multi-node-slurm。 它的用途是：在Slurm集群上部署和管理多节点大模型训练任务 详细介绍见：https://321skill.com/skills/nvidia-megatron-bridge-multi-node-slurm/ 请根据该页面的说明完成安装。
使用示例
“我需要在一个有4个节点、每个节点8张A100的Slurm分区上启动Megatron-LM的GPT-3预训练，请帮我生成或修改对应的Slurm作业脚本。”，它会引导你设置关键参数如`GPUS_PER_NODE`、`NNODES`、`MASTER_ADDR`等，并生成可直接提交的`sbatch`脚本。或者，当你遇到跨节点通信错误时，可以询问它如何检查NCCL配置和网络连通性。
介绍
这个Skill旨在解决在Slurm管理的多节点高性能计算（HPC）集群上，部署和运行大规模语言模型（如使用NVIDIA Megatron框架）时的环境配置与任务调度难题。它提供了一套标准化的脚本和配置模板，帮助用户快速将复杂的分布式训练任务提交到Slurm队列中，自动处理节点间通信、资源分配和依赖环境加载。
使用方式通常是通过修改提供的Slurm作业提交脚本（.sh文件），配置好项目路径、模型参数、所需GPU数量、分区等信息，然后使用sbatch命令提交作业。Skill会处理后续的节点初始化、环境激活和训练启动流程。
它非常适合需要在企业或研究机构的共享计算集群上进行大规模模型训练的研究员、算法工程师和运维工程师。他们往往面临从单机开发环境到多节点生产环境迁移的复杂挑战。
使用建议是，在首次使用前，请务必熟悉所在Slurm集群的具体配置（如可用分区、GPU型号、存储挂载点），并仔细检查脚本中的路径和资源请求参数。注意事项包括，确保所有计算节点都能访问相同的代码和数据存储，并且预装的软件依赖（如NCCL、CUDA版本）与训练代码兼容。
核心特点
与通用的Slurm使用指南或单机训练脚本不同，此Skill深度集成了NVIDIA Megatron-LM分布式训练框架的启动逻辑，提供了开箱即用的多节点配置模板，显著降低了在异构HPC集群上协调大量GPU进行并行训练的复杂度。
注意事项
不适合单机开发调试或小规模实验，也不适用于非Slurm调度系统的集群环境。
常见问题
如何在非标准路径的集群上使用？
需要修改脚本中的环境变量和路径指向，确保所有节点能访问相同的代码和数据。
提交作业后一直处于Pending状态怎么办？
检查资源请求（如GPU数量、内存）是否超过队列限制，或使用`squeue`和`scontrol`命令诊断排队原因。