AI Skill 大全

TorchTitan分布式预训练配置

基于 PyTorch 原生 TorchTitan 框架,配置 4D 并行策略与 Float8 加速,实现大语言模型分布式预训练与检查点管理。

功能与用途

本技能面向大规模语言模型预训练任务,指导用户使用 PyTorch 原生框架 TorchTitan 搭建 8 到 512+ 卡的分布式训练流水线。涵盖 FSDP2、张量并行(TP)、流水线并行(PP)和上下文并行(CP)构成的 4D 并行策略配置,支持集成 Float8 混合精度与 torch.compile 编译优化。用户只需提供硬件规模与模型规格,即可获得完整的 TOML 配置文件、SLURM 提交脚本、显存 OOM 排查与断点续训方案。

适用场景

  • 单机多卡 8B 模型预训练:在 8 卡 H100 环境下配置 FSDP2 结合 Float8 加速,快速启动 Llama 3.1 8B 基座训练并记录监控指标。
  • 超大集群 4D 并行编排:针对 70B 或 405B 规模模型,在 256 至 512 卡集群上配置 TP、PP、FSDP 与 SLURM 提交脚本。
  • 训练显存与吞吐优化:解决分布式预训练中的 OOM 报错,配置选择性重计算、异步通信优化与 Float8 层级过滤策略。

适用人群

  • 大模型算法研究员
  • 分布式训练工程师
  • AI基础架构运维人员

使用步骤

  1. 明确目标模型结构、序列长度以及可用 GPU 节点规模
  2. 生成并编辑对应维度的 4D 并行参数与 Float8 TOML 配置文件
  3. 下载分词器资产并创建必要的流水线初始种子检查点
  4. 通过 torchrun 或 SLURM 启动分布式作业并使用 TensorBoard 监控

开始使用

将需求和 Skill 名称发送给已连接 SkillPX MCP 的 AI 助手,核对适用工具和安装要求。

查看 MCP 接入说明

技术信息

分类
编程
适用工具
Codex、Claude Code、OpenClaw、Hermes Agent、国内 Agent
使用难度
专业
版本
main
最近更新
2026-09-29
文件数
3
安装包大小
自动生成 ZIP
安全检查
基础检查通过

Provides PyTorch-native distributed LLM pretraining using torchtitan with 4D parallelism (FSDP2, TP, PP, CP). Use when pretraining Llama 3.1, DeepSeek V3, or custom models at scale from 8 to 512+ GPUs with Float8, torch.compile, and distributed checkpointing.

依赖与权限

  • YOUR_HF_TOKEN
  • MASTER_PORT

同类 Skill