Kairos快速入门指南：3步从零搭好世界模型推理环境并跑通第一条机器人视频

Kairos快速入门指南3步从零搭好世界模型推理环境并跑通第一条机器人视频【免费下载链接】kairosOfficial code for world model Kairos项目地址: https://gitcode.com/gh_mirrors/ka/kairosKairos 是一个 40 亿参数的跨本体Cross-Embodiment世界模型能够统一完成视频理解、未来画面生成与机器人动作预测。这篇新手教程将带你用3 步从零搭建 Kairos 世界模型推理环境并跑通第一条机器人视频生成任务——无需训练只需下载权重即可开始推理。一、先认识 Kairos一个模型三种能力传统方案里视频生成、动作预测往往各用一个模型而 Kairos 用统一的 Mixture-of-Transformers 框架把三件事做进同一个大脑能力说明 World Understanding结合物理规律与思维链文本理解任务意图 World Generation根据文本/首帧图像生成高质量机器人操作视频 World Prediction直接预测可执行的机器人动作轨迹它还采用了混合线性时序记忆滑动窗口注意力 门控线性注意力使长视频推理也能保持高效单卡 A800 上 480P 视频仅需约 23.5 GB 显存、11.7 秒生成非常适合边缘侧部署。二、第1步一键搭建推理环境 环境安装只需 2 分钟两种方式任选其一详细说明见 docs/QUICKSTART.md 与 docker/DOCKER.md。方式 ADocker 镜像推荐零配置先克隆仓库git clone https://gitcode.com/gh_mirrors/ka/kairos cd kairos按你的 GPU 选择镜像标签A800/A100 用默认镜像RTX 5090 用-rtx5090Metax C500 用-metaxdocker pull ghcr.io/kairos-agi/kairos-sensenova:v0.0.1 docker run --rm -it --gpus all -v $(pwd):/workspace \ ghcr.io/kairos-agi/kairos-sensenova:v0.0.1 bash方式 BConda / venv 手动安装要求python3.10、torch2.6、cuda12.6pip install -r requirements.txt三、第2步下载模型权重 ⬇️推理需要 3 类权重统一放在models/目录下可用 Hugging Face 或 ModelScope 下载Kairos 世界模型kairos-agi/Kairos3.1-4B-robot-480P本次入门使用文本编码器Qwen 系列小模型如Qwen3.5-2B视频 VAEWan2.1_VAE.pthpip install -U huggingface_hub modelscope hf download kairos-agi/Kairos3.1-4B-robot-480P \ --local-dir models/Kairos3.1-4B-robot-480P hf download Qwen/Qwen3.5-2B --local-dir models/Qwen/Qwen3.5-2B hf download Wan-AI/Wan2.1-T2V-14B --local-dir models/Wan2.1-T2V-14B \ --include Wan2.1_VAE.pth 完整路径对照表见 docs/QUICKSTART.md 的 Fetch Models 章节可按你的实际下载路径修改 kairos/configs/kairos_4b_video_only_config.py 中的路径配置。四、第3步一条命令跑通机器人视频生成 Kairos 支持T2V / I2V / TI2V三种模式只需一个 JSON 参数文件即可控制模式promptinput_image典型用例T2V 文生视频✅ 必填空纯文本生成操作视频I2V 图生视频空✅ 必填首帧图续写视频TI2V 文图生视频✅ 必填✅ 必填图指令生成操作视频官方示例 JSON含robot_1/robot_2两个机器人场景位于examples/目录例如 examples/example_ti2v_480P_robot_1.json 中的指令是机械臂用绿色抹布擦拭木质台面输入首帧图执行推理单卡即可脚本会自动管理依赖并调用 examples/inference.py# 文图生视频TI2VKairos3.1-4B-robot-480P 使用 video_only 配置 bash examples/inference.sh examples/example_ti2v_480P_robot_1.json \ kairos/configs/kairos_4b_video_only_config.py # 文生视频T2Vkairos-4B-720P 使用基础配置 bash examples/inference.sh examples/example_t2v.json \ kairos/configs/kairos_4b_config.py运行结束后视频保存在 JSON 里output_dir指定的目录默认output/ti2v/output.mp4。生成的视频会呈现物理因果一致的擦拭动作效果类似官方 Demo参数怎么调修改 JSON 即可常用字段height/width分辨率480P 推荐 480×832、num_frames帧数、cfg_scale引导强度、seed随机种子。多卡推理使用 examples/multi_gpu_inference.sh4 卡 A800 下 480P 仅需约 3 秒。五、进阶多卡加速与显存优化 多卡并行在配置文件中开启use_seq_parallel/use_tp_in_self_attn让计算真正分片到多卡TeaCache 缓存加速设置tea_cache_l1_thresh 0.1减少 DiT 冗余计算vram_management显存不足时设置vram_management_enabled True自动在 GPU/CPU 间搬运权重。以上开关均位于 kairos/configs/kairos_4b_config.py 的pipeline字典中按需取消注释即可。六、继续探索仿真环境评测 想验证模型的真实控制能力仓库内置了两大具身智能评测基准README 见 benchmarks/robotwin 与 benchmarks/libero_plus基准考察点RoboTwin 2.0双臂长时序操作的可执行动作预测LIBERO-Plus跨任务/跨场景的泛化能力其中 RoboTwin 与 LIBERO-Plus 模型权重kairos-4B-robot-RoboTwin2.0、kairos-4B-robot-LIBERO-plus支持直接输出可执行动作轨迹是通往真实机器人部署的关键一步。常见问题速查 ❓问题排查方法找不到权重路径检查models/目录结构是否与配置文件中的路径一致显存不足开启vram_management_enabled或改用 480P 配置只有 1 张卡在工作多卡模式忘了开启use_seq_parallel等并行开关METAX C500 用户仅支持 Docker 镜像方式安装按照以上3 步你现在已经拥有了一个可运行的 Kairos 世界模型推理环境从搭环境、下权重到生成第一条机器人视频全程不到 30 分钟。接下来不妨试试 benchmarks/ 中的仿真评测看看世界模型如何预测真实可执行的动作【免费下载链接】kairosOfficial code for world model Kairos项目地址: https://gitcode.com/gh_mirrors/ka/kairos创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考