NVIDIA/Megatron-Bridge/perf-sequence-packing
优化Transformer模型训练时的序列打包，提升GPU利用率。
安装使用
复制下面这段提示词发给你的 AI（Claude / Cursor / TRAE / Codex / WorkBuddy 等），它会自动帮你完成安装：
帮我安装这个 AI Skill：NVIDIA/Megatron-Bridge/perf-sequence-packing。 它的用途是：优化Transformer模型训练时的序列打包，提升GPU利用率。 详细介绍见：https://321skill.com/skills/nvidia-megatron-bridge-perf-sequence-packing/ 请根据该页面的说明完成安装。
使用示例
“我正在使用Megatron-LM训练一个中文语言模型，数据集里新闻文章和社交媒体短文本长度差异很大，感觉GPU利用率不高，填充太多了。”，它会引导你配置并启用perf-sequence-packing，将不同长度的文本智能打包进同一个训练批次，从而减少无效计算，提升训练速度。
介绍
该Skill旨在解决Transformer模型（如GPT、BERT等）在训练过程中，由于输入序列长度不一导致的GPU计算资源浪费问题。传统的训练方法通常通过填充（padding）将批次内的序列统一到最长长度，这会引入大量无效计算，降低训练效率。
Megatron-Bridge/perf-sequence-packing通过序列打包技术，将多个较短的序列智能地组合成一个批次，最大限度地减少填充，从而让GPU专注于有效计算。用户只需在训练配置中启用此功能，即可自动优化数据加载和处理流程。
它非常适合从事大规模语言模型（LLM）训练和微调的研究人员、工程师，特别是那些使用NVIDIA Megatron-LM框架或类似Transformer架构进行开发，并受限于GPU内存和计算效率的团队。
使用建议包括在启用前评估数据集的长度分布，以获得最佳打包效果。需要注意的是，序列打包可能会改变模型对序列边界（如句子分隔）的感知，对于某些对序列结构敏感的下游任务，可能需要调整模型或评估方法。
核心特点
该Skill深度集成于NVIDIA Megatron-LM高性能训练框架，针对其数据加载和模型并行训练进行了专门优化，能够在大规模分布式训练环境中无缝工作，这是许多通用序列打包工具难以做到的。
注意事项
不适合序列长度本身就非常均匀或对序列边界有严格要求的特定任务（如某些需要精确句子级表示的任务）。
常见问题
序列打包能提升多少训练速度？
提升幅度取决于数据集的长度分布，对于长短序列混合的文本数据，通常能显著减少填充，提升10%-30%的吞吐量。
使用序列打包后需要调整学习率吗？
通常不需要，因为打包不改变模型的前向和反向传播计算，只是优化了批次构成。但建议在启用后监控训练损失曲线。