NVIDIA/Megatron-Bridge/perf-activation-recompute
优化大模型训练的内存使用，支持激活重计算策略。
安装使用
复制下面这段提示词发给你的 AI（Claude / Cursor / TRAE / Codex / WorkBuddy 等），它会自动帮你完成安装：
帮我安装这个 AI Skill：NVIDIA/Megatron-Bridge/perf-activation-recompute。 它的用途是：优化大模型训练的内存使用，支持激活重计算策略。 详细介绍见：https://321skill.com/skills/nvidia-megatron-bridge-perf-activation-recompute/ 请根据该页面的说明完成安装。
使用示例
‘在训练这个200B参数的模型时，帮我配置一下选择性激活重计算，优先重计算注意力模块后的激活值。’，它会根据你的模型架构和硬件配置，生成或调整Megatron-LM的训练配置文件，设置相应的`recompute_activations`和`recompute_method`参数，帮助你以更低的内存启动训练。
介绍
Megatron-Bridge/perf-activation-recompute 是一个专注于优化大规模语言模型（LLM）训练过程中内存使用的工具。它通过实现激活重计算（Activation Recomputation）策略，在训练时选择性地丢弃部分中间激活值，并在反向传播时重新计算它们，从而显著降低GPU显存占用，使得在有限硬件资源下训练更大模型成为可能。
使用时，开发者需要将其集成到基于Megatron-LM的训练流程中。通过配置相应的策略（如选择性重计算），该工具可以在训练循环中自动管理激活张量的存储与重新计算，在内存消耗和计算开销之间取得平衡。
该工具主要面向使用Megatron-LM框架进行大模型训练和研究的AI工程师、算法研究员以及高性能计算（HPC）领域的开发者。他们通常面临模型参数量巨大、显存瓶颈突出的挑战。
建议在训练百亿或千亿参数级别的模型时考虑使用。需要注意的是，激活重计算会引入额外的计算开销，可能略微延长训练时间，因此需要在具体任务上进行权衡和性能分析，以找到最适合的重计算粒度。
核心特点
与通用的模型训练优化工具不同，它深度集成于Megatron-LM框架，提供了针对Transformer架构的、细粒度的激活重计算策略配置，能够更精准地控制内存与计算的权衡。
注意事项
不适合对训练延迟极其敏感或模型规模较小、显存充足的场景。
常见问题
激活重计算会拖慢多少训练速度？
速度影响取决于重计算的策略和模型结构，通常会有10%-30%的计算开销增加，但换来了可训练更大模型的能力。
这个工具能用于非Megatron-LM的框架吗？
不能，它深度依赖于Megatron-LM的训练流程和内部张量管理机制。