30分钟闯三关：用NVIDIA Cosmos生成第一个物理世界视频

30分钟闯三关用NVIDIA Cosmos生成第一个物理世界视频【免费下载链接】cosmosNVIDIA Cosmos is an open platform of world models, datasets, and tools that enables developers to build Physical AI for robots, autonomous vehicles, smart infrastructure, and more.项目地址: https://gitcode.com/GitHub_Trending/cosmos7/cosmos想象一下你的机器人小车还没出厂就已经在虚拟仓库里跑了几百圈你的自动驾驶模型还没上路就已经在数字高速上开了几万公里——这就是 NVIDIA Cosmos 在做的事。它是一个开源的物理世界生成平台能把一句文字或一段真实视频变成一段逼真的未来世界模拟视频。本文不搞流水线式教学而是把上手过程拆成三关闯关游戏点亮环境 → 跑通首例 → 调出理想效果30分钟带你从零到产出第一个可见成果。读完你会亲手生成一段视频并掌握让输出更高质量的三个旋钮。第一关点亮环境让模型有家可住约10分钟任务目标把 Cosmos 装进 Docker 容器得到一条能跑的推理命令。任何 AI 项目的第一步都不是写代码而是搭窝。Cosmos 依赖大量 CUDA 环境直接装在本机上容易互相打架所以官方推荐用 Docker 隔离。你可以把 Docker 想象成集装箱代码和依赖打包在里面搬到哪里都能跑。git clone https://gitcode.com/GitHub_Trending/cosmos7/cosmos cd cosmos docker build -t cosmos .第一条命令把项目代码拉到本地第三条命令构建镜像——这一步会下载基础依赖慢的话去喝杯水。docker run -d --name cosmos_container --gpus all --ipchost -it -v $(pwd):/workspace cosmos docker attach cosmos_container--gpus all表示把所有显卡借给容器-v $(pwd):/workspace把当前目录挂载进去这样生成的视频能直接出现在你电脑上。运行后看到root...提示符说明环境已点亮。小贴士建议显存至少 24GB如 RTX 3090/4090。显存就像仓库货架模型太大放不下时后面我们有分批搬运的办法。接下来下载模型权重。Cosmos 模型托管在 Hugging Face需要先去该平台生成一个 Read 权限的访问令牌执行huggingface-cli login登录如果用 Video2World还需在 Mistral 的 Pixtral-12B 模型页点一下Agree and access repository。PYTHONPATH$(pwd) python cosmos1/scripts/download_diffusion.py --model_sizes 7B --model_types Text2WorldPYTHONPATH$(pwd)是告诉 Python从当前目录找代码--model_sizes 7B --model_types Text2World表示只下载最小的文本生成模型约十几GB是新手最省时的选择。下载完成后你会看到checkpoints/Cosmos-1.0-Diffusion-7B-Text2World/目录。✅通关检查点checkpoints目录下出现model.pt和config.json且docker attach后能正常敲命令即可进入下一关。第二关跑通首例让文字变成画面约15分钟任务目标用一句中文描述生成第一段 MP4 视频。模型下载好了现在到最激动人心的环节——无中生有。Cosmos 的 Text2World文本到世界模型核心能力就是一句话一段视频。PROMPT一个优雅的人形机器人站在巨大的仓库中周围是整齐堆放在工业货架上的纸箱。机器人的金属身体在明亮均匀的灯光下闪闪发光蓝色的光芒从其胸部散发出来充满先进科技感。 PYTHONPATH$(pwd) python cosmos1/models/diffusion/inference/text2world.py \ --checkpoint_dir checkpoints \ --diffusion_transformer_dir Cosmos-1.0-Diffusion-7B-Text2World \ --prompt $PROMPT \ --offload_prompt_upsampler \ --video_save_name 我的第一个Cosmos视频逐个拆解--diffusion_transformer_dir指定用哪个模型7B 是轻量版--offload_prompt_upsampler让提示词放大镜用完就卸下省显存--video_save_name是输出文件名。运行后你会看到一屏一屏的进度日志像在给画面显影。大约 6 分钟后7B 模型单条视频约 380 秒终端会打印Saved video to outputs/我的第一个Cosmos视频.mp4。⚠️踩坑预警 1很多人卡在模型下载了却报错找不到文件。原因是 Hugging Face 令牌权限设成了默认的 Fine-grained导致下载静默失败。解决去令牌设置里改成 Read 权限重新执行huggingface-cli login和下载脚本。⚠️踩坑预警 2生成时提示Guardrail blocked安全护栏拦截。这是正常现象——Cosmos 内置人脸检测与内容安全过滤且无法禁用。生成人脸会被自动模糊属设计如此不是 bug。换个不涉及人脸的场景描述即可。✅通关检查点在outputs/目录看到.mp4文件用播放器打开能正常播放恭喜你已跑通完整链路第三关调出理想效果从能出片到出好片约5分钟任务目标掌握三个调优旋钮并解锁视频续写玩法。跑通只是及格线想让画面更惊艳记住这三招旋钮一显存不够就分批搬运。如果你的显卡只有 24GB一次性加载所有模型会爆显存。解决办法是把--offload_系列的五个开关全部加上--offload_tokenizer --offload_diffusion_transformer --offload_text_encoder_model --offload_prompt_upsampler --offload_guardrail_models。效果是每个模型用完就挪出显存24GB 也能跑 7B 模型代价只是速度变慢。旋钮二提示词是质量天花板。官方建议描述单一场景、约 120 词、多写视觉细节光线、材质、构图少写镜头运动指令当前版本对相机控制支持有限。如果你觉得自动提示词放大跑偏了你的原意加--disable_prompt_upsampler用原始提示词生成。旋钮三换输入玩 Video2World。这是最有物理世界味道的玩法喂一张图或一段视频Cosmos 会延续它的风格生成后续画面。仓库自带了一张高速公路素材图很适合当第一个测试输入PYTHONPATH$(pwd) python cosmos1/models/diffusion/inference/video2world.py \ --checkpoint_dir checkpoints \ --diffusion_transformer_dir Cosmos-1.0-Diffusion-7B-Video2World \ --input_image_or_video_path cosmos1/models/diffusion/assets/v1p0/video2world_input0.jpg \ --num_input_frames 1 \ --offload_prompt_upsampler \ --video_save_name 视频续写示例--num_input_frames是 1 表示单张图起步也可以传 9 帧视频片段让模型接着演。如果想批量生成用--batch_input_path指向仓库里的 JSONL 文件即可每一行是一条提示词。如果你想了解模型背后视频被压缩成 token 再重建的流程可以看架构图下一步行动让 Cosmos 为你所用三关已过现在你有三条路可以立刻走先跑通最简示例如果还没动手现在就复制第二关的命令跑一遍拿到属于你的第一段视频再调参数试试把模型换成 14B质量更高但更慢、调--guidance数值越大越贴提示词、改--fps12-40 可调最后代入自己的场景把你手头的机器人行走录像、车间监控片段喂给 Video2World生成属于你业务的模拟数据。想深入了解后训练、多 GPU 推理等进阶玩法可以翻阅仓库里的 POST_TRAINING.md、扩散模型文档 diffusion/README.md 以及自回归模型文档 autoregressive/README.md。物理世界正在被数字化而你的下一步不过是一行python text2world.py的距离。跑起来让世界先你一步看见未来。【免费下载链接】cosmosNVIDIA Cosmos is an open platform of world models, datasets, and tools that enables developers to build Physical AI for robots, autonomous vehicles, smart infrastructure, and more.项目地址: https://gitcode.com/GitHub_Trending/cosmos7/cosmos创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考