LLaMA-Factory 怎么使用 USE_V1 启用 v1 架构并跑通 FSDP2 全参数 SFT

LLaMA-Factory 怎么使用 USE_V1 启用 v1 架构并跑通 FSDP2 全参数 SFT【免费下载链接】LlamaFactoryUnified Efficient Fine-Tuning of 100 LLMs VLMs (ACL 2024)项目地址: https://gitcode.com/GitHub_Trending/ll/LlamaFactory这篇文档说明如何在 LLaMA-Factory 中通过USE_V1环境变量启用 v1 架构并使用仓库自带的 FSDP2 示例配置对 Qwen3-0.6B 做一次全参数 SFT 训练直到模型保存到输出目录。目标读者是新安装 LLaMA-Factory 后想先跑通最小训练链路的开发者适用前提是机器上已有 NVIDIA GPU文档同时列出了 Ascend NPU 的 torch-npu 依赖或满足软件依赖的 CPU 开发环境。启用方式USE_V1 环境变量决定走哪个 launcherv1 与旧架构的分发入口在 cli.py 中llamafactory-cli启动时检查USE_V1开启则导入llamafactory.v1.launcher否则走旧版 launcher。因此在运行训练命令前必须先导出该变量且它只对执行命令的那个 shell 会话生效export USE_V11 llamafactory-cli sft examples/v1/train_full/train_full_fsdp2.yaml快速开始文档中确认llamafactory-cli sft与llamafactory-cli train等价。v1 架构目前支持 SFT 和 DPO 两种训练方法均支持 DeepSpeed、FSDP、FlashAttention-2 等加速特性如果后续想用 v1 跑其他阶段如 PPO、RM 之外的旧入口需要先确认命令是否被 v1 launcher 支持——launcher.py 中实际接管的分布式训练命令为train、sft、dpo、rm。环境准备docs/zh/getting-started.md 给出的软件依赖如下先确认环境满足要求再安装必需项至少推荐python3.113.12torch2.7.12.7.1torch-npu(Ascend NPU)2.7.12.7.1torchvision0.22.10.22.1transformers5.0.05.0.0datasets3.2.04.0.0peft0.18.10.18.1可选项CUDANVIDIA GPU至少 11.6推荐 12.2deepspeed 0.18.4flash-attnNVIDIA GPU至少 2.5.6。安装采用源码方式官方推荐git clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.git cd LLaMA-Factory pip install -e .也可以pip install llamafactory。本场景不需要 flash-attn、deepspeed 等可选依赖FSDP2 路径不依赖 DeepSpeed需要时才按文档安装对应包。理解示例配置 train_full_fsdp2.yaml训练入口 train_full_fsdp2.yaml 是 v1 全参数训练的官方示例内容很少逐项对应 v1 的配置块model: Qwen/Qwen3-0.6B model_class: llm kernel_config: name: auto quant_config: null dist_config: name: fsdp2 dcp_path: null # /mnt/f/pretrain_models/Qwen3-0.6B-dcp ### data train_dataset: data/v1_sft_demo.yaml ### training output_dir: outputs/test_fsdp2 micro_batch_size: 1 cutoff_len: 2048 learning_rate: 1.0e-4 max_steps: 10 ### sample sample_backend: hf max_new_tokens: 128各部分的作用边界model/model_class指定底模。示例用的是 HuggingFace 上的 Qwen3-0.6B首次运行会下载模型需要能访问模型源换模型时同时确认model_class是否需要调整。dist_config.name: fsdp2选择 FSDP2 分布式引擎这是“FSDP2 全参数 SFT”的核心开关。dcp_path默认null注释里的/mnt/f/pretrain_models/Qwen3-0.6B-dcp只是说明可以指向已有的 DCP 格式权重路径默认留空即可。quant_config: null不做量化走全精度加载。train_dataset指向 v1_sft_demo.yaml它声明了两个本地内置数据集identitydata/identity.json和alpaca_en_demodata/alpaca_en_demo.json都使用alpacaconverter属于仓库自带数据无需额外下载。output_dir: outputs/test_fsdp2训练产物模型保存输出位置相对于仓库根目录。max_steps: 10只训练 10 步属于快速验证用途跑真实任务时按需改大。sample段的sample_backend: hf与max_new_tokens: 128配置训练中的采样行为默认值可直接沿用。如果要换训练超参改动只涉及### training块文档没有要求为最小验证额外增加参数。执行训练并观察启动方式在仓库根目录执行export USE_V11 llamafactory-cli sft examples/v1/train_full/train_full_fsdp2.yaml启动行为由 v1/launcher.py 决定对sft命令若检测到可用设备数大于 1且未使用 ray/ktransformerslauncher 会自动通过torchrun重启为分布式训练进程数默认取可用设备数单卡环境下则直接进入run_sft单进程训练。也可以在导出USE_V1的同时设置FORCE_TORCHRUN1强制走 torchrun 路径——仓库的 FSDP2 SFT 测试 test_fsdp2_sft_trainer.py 正是按USE_V11FORCE_TORCHRUN1模拟该命令的它同时验证了这套环境变量组合能完整驱动 FSDP2 SFT 流程。多节点扩展通过NNODES、NODE_RANK、NPROC_PER_NODE、MASTER_ADDR、MASTER_PORT等环境变量控制单机验证不需要设置。验证是否跑通判断训练完成并成功可以按以下顺序检查命令正常退出无 traceback。最小配置只有max_steps: 10正常应在较短时间内结束。查看输出目录outputs/test_fsdp2训练保存的模型产物位于此目录配置中output_dir指定的路径。若要确认环境变量确实生效未导出USE_V1时同一条命令走的是旧版 launcher而旧入口不识别 v1 风格的 YAML 配置反之导出了USE_V11却仍报参数解析错误多半是在另一个 shell 会话里执行了训练命令。一个额外的核对点测试用例 test_fsdp2_sft_trainer.py 使用的最小可运行配置比示例 YAML 多了global_batch_size、bf16、init_config等字段。如果你在单卡上强制走 torchrun 时遇到问题可参考该测试的配置写法它设置max_steps: 1、bf16: false并标注 CI 机器高负载时可能 OOM作为缩小问题范围的对照。限制与边界v1 架构当前只支持 SFT 和 DPO 两种训练方法快速开始文档明确说明标题中的“全参数 SFT”指全参数训练模式与量化无关——quant_config: null表示未启用量化。首次运行需要下载Qwen/Qwen3-0.6B网络不通或模型源不可达时会卡在模型加载阶段这属于环境问题而非配置错误。max_steps: 10的产出只用于验证链路不适合作为可上线的检查点继续用于生产任务。下一步链路跑通后可按快速开始文档用 v1 的采样能力配置中的sample_backend: hf查看生成结果或把max_steps调大、替换train_dataset为真实数据集继续正式训练数据格式与自定义数据集的配置方法见 data/README_zh.md。【免费下载链接】LlamaFactoryUnified Efficient Fine-Tuning of 100 LLMs VLMs (ACL 2024)项目地址: https://gitcode.com/GitHub_Trending/ll/LlamaFactory创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考