AI Toolkit 上手指南：24GB 显存训 FLUX 与 SDXL LoRA 的最短路径

AI Toolkit 上手指南24GB 显存训 FLUX 与 SDXL LoRA 的最短路径【免费下载链接】ai-toolkitThe ultimate training toolkit for finetuning diffusion models项目地址: https://gitcode.com/GitHub_Trending/ai/ai-toolkit24GB 显存的显卡想训 FLUX LoRA光 base 模型就快把显存占满换成 SDXL 又是一堆要调的参数。AI Toolkit 是一个面向消费级显卡的扩散模型训练工具包把 FLUX、SDXL 这类模型的 LoRA 微调压成一份带注释的 YAML 配置本地或云端都能跑。它替你省掉的事先说自定义 LoRA数据集就是一个文件夹jpg/jpeg/png 图片配同名 txt 描述描述里写[trigger]配置里定了 trigger_word 后会自动替换。图片不需要手动裁剪或缩放——加载器只做下采样并按不同宽高比分桶配置里可以一次给多个分辨率FLUX 示例是 512/768/1024。显卡方面不用你自己算账24GB 配置默认开了 8bit 量化quantize: truebase 模型按 8bit 混合精度加载LoRA 本身仍按 bf16 训练显存更紧时还能再开low_vram。想试视频模型也直接有模板Wan 2.1 的 1.3B/14B 到 Wan 2.2 的 14B 都有对应配置。第一次跑通的最短路径克隆后不需要手动搭环境。仓库内置 manager会自动装对应 GPU 的 PyTorch、建虚拟环境、拉 Node.js 和 FFmpeg全部留在仓库目录内不污染系统git clone https://gitcode.com/GitHub_Trending/ai/ai-toolkit cd ai-toolkit chmod x run_linux.sh ./run_linux.shMac 用 run_mac.zshApple Silicon 为实验性支持Windows 双击 run_windows.bat。启动后 UI 开在http://localhost:8675任务的启停、采样图预览都在里面部署到公网前建议设置AI_TOOLKIT_AUTH环境变量加访问口令。偏好手动安装的话venv pip 装 torch 2.13.0cu130再装 requirements.txt 即可。训练走配置文件把示例拷到 config/ 目录改三处——任务名、数据集 folder_path、触发词然后cp config/examples/train_lora_flux_24gb.yaml config/my_first_lora.yml python run.py config/my_first_lora.ymlcheckpoint 和采样图都写在 output 目录中途 ctrlc 停掉下次会从最近的 checkpoint 续训保存的瞬间别按会损坏该 checkpoint。进阶两个值得多花时间的配置点低显存量化训练怎么开FLUX 这类 flow 模型在 24GB 卡上能跑通关键就在 model 段的quantize: true权重以 8bit 存储、前向回到 bf16 计算精度损失可控换来的是显存从放不下到还有余量。配套项train 段保持gradient_checkpointing: true显存换时间optimizer 用 adamw8bit如果显卡接显示器导致显存被桌面占用解开low_vram: true量化时的峰值再降一些代价是稍慢。AI 自动配文Florence-2 接入方式数据集最大的隐性成本是写描述。UI 里可以直接调 Florence-2 给每张图生成 caption结果可逐张编辑[trigger]占位符会替换成你设置的触发词相当于把描述质量的下限拉平了。剩下的训练细节save_every: 250、EMA decay 0.99、caption dropout 5%示例配置里都有默认值第一遍不需要动。训练块里还有实验项linear_timesteps: true给每个时间步重新分配损失权重对 FLUX 可能出更好结果toolkit/timestep_weighing/ 目录里有配套脚本和权重曲线。按硬件和场景怎么选24GB 卡训 FLUX LoRA用 train_lora_flux_24gb.yaml 作底稿量化和 gradient checkpointing 保持开启。想要出图更快FLUX.1-schnell 有独立配置采样 guidance_scale 为 1省掉 CFG 开销。32GB 以上显存可以关掉 quantize 跑全精度或试 config/examples/ 里的 Qwen-Image-Edit 32GB 模板。视频模型实验从 Wan 2.1 1.3B 起步14B/720P 版本显存要求高不少先用小模型验证流程。不想本地跑config/examples/modal/ 下有 Modal 云模板配合 run_modal.py 提交到云端 GPU。下一步从哪个配置文件起步第一遍别改太多拿 train_lora_flux_24gb.yaml 当底稿只填数据集路径和触发词跑通 250 步看第一次采样再决定加 LoKr、用 only_if_contains 选层训练还是换时间步权重。配置文件里几乎每行都有注释照着改就行。【免费下载链接】ai-toolkitThe ultimate training toolkit for finetuning diffusion models项目地址: https://gitcode.com/GitHub_Trending/ai/ai-toolkit创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考