3 步完成视频动作迁移：让任意角色跳同一支舞

3 步完成视频动作迁移让任意角色跳同一支舞【免费下载链接】ComfyUI-MimicMotionWrapper项目地址: https://gitcode.com/gh_mirrors/co/ComfyUI-MimicMotionWrapper 两个人做同样的动作要多久让第二个人逐帧复现一段舞蹈传统路径要动作捕捉设备、动画团队和数周交付时间。更省力的路径是视频动作迁移把源视频里的动作取出来画到新的角色身上。 项目定位复制动作保留角色ComfyUI-MimicMotionWrapper 是封装腾讯 MimicMotion 动作迁移模型的 ComfyUI 插件。给它一张角色照片和一段动作源视频它输出一段这个角色做出相同动作的新视频。它面向没有动捕设备、需要快速产出动作一致角色视频的内容创作者。 3 步跑通第一个工作流第一步 环境准备克隆并装依赖git clone https://gitcode.com/gh_mirrors/co/ComfyUI-MimicMotionWrapper ComfyUI/custom_nodes/ComfyUI-MimicMotionWrapper cd ComfyUI/custom_nodes/ComfyUI-MimicMotionWrapper pip install -r requirements.txt需要两个模型文件MimicMotion 主模型约 3.05GB和 SVD XT 基础模型约 4.19GB首次运行会自动下载到models/对应目录不用手动摆放。第二步 首次运行导入示例工作流完整工作流样例在 examples/mimic_motion_example_02.json导入后换成自己的参考图与动作视频即可。节点顺序是固定的MimicMotion GetPoses 提取姿态MimicMotion Sampler 生成潜变量MimicMotion Decode 解码成视频。第三步 参数调优先动三个数首次运行先全用默认值跑通流程再单独调 pose_strength、steps 与 cfg含义见下文参数速查。⚙️ 原理速览动作是怎么贴到人身上的数据流分四步姿态提取用 mimicmotion/dwpose/ 中的 DWPose 算法逐帧检测源视频的身体、手部、面部关键点画成黑底人骨架图姿态图。体型对齐把检测到的关键点线性缩放、平移到参考图的体型比例让不同身材的人做同一个动作也不变形。扩散生成参考图经 CLIP一个理解图像内容的特征模型编码得到身份特征姿态图序列经 PoseNet 转成动作特征UNet 以首帧为起点逐帧去噪出完整视频。解码输出VAE 把潜变量还原为真实画面帧每 4 帧一批处理以省显存。它能复制动作的原因在于身份信息只来自参考图运动信息只来自姿态序列两者分开输入所以换人不换动作。️ 参数调节速查最影响效果的 3 个参数默认值影响什么调整方向pose_strength1.0输出跟随源动作的紧密度动作松散时提到 1.5~2.0image_embed_strength1.0角色长相与参考图的相似度脸漂移时调高steps25去噪迭代次数与细节有瑕疵时提到 30~40pose_start_percent / pose_end_percent 控制动作影响的视频区段开头 10% 设为 0 可让起幅自然过渡。fps 只影响输出视频的播放速度按源视频帧率设置即可。 场景玩法5 个迁移方向舞蹈挑战视频热门舞蹈片段当动作源 → 产出自己角色跳同款舞的视频电商模特视频商品展示图当参考、动态示范当动作源 → 免实拍生成模特视频教学示范标准动作演示视频当源 → 固定教学人设的同款动作示范系列化 IP同一角色图 不同动作源 → 角色动作一致的系列视频演出预演彩排动作源 → 快速产出预览片 问题速查4 个常见现象与解法人物长相漂移脸变了现象是输出视频与参考图不像原因是身份引导偏弱或参考图与视频分辨率不一致解法是调高 image_embed_strength并保证参考图与源视频同分辨率GetPoses 要求两者尺寸一致。GPU 爆显存现象是采样或解码中途崩溃原因是帧数或分辨率过高解法是降分辨率、缩短视频调小 context_size默认 16与解码分块默认 41.1 模型需配 context_size72。动作贴不紧、有飘动感现象是输出动作比源视频松原因是 pose_strength 偏低或姿态检测不准源视频人物遮挡大解法是 pose_strength 提到 1.5~2.0并换单人、遮挡少的源视频。画面模糊、帧间抖动现象是输出糊或跳原因是 steps 不足或 fps 与源不匹配解法是调高 stepsfps 对齐源视频帧率。 效率进阶批量与显存工作流模板复用把跑通的工作流存成模板批量生产只换参考图与动作视频。调度器替换挂一个 Diffusers Scheduler 节点选 AnimateLCM_SVD可减少所需推理步数适合快速预览。显存管理穿插跑其他任务时关闭 keep_model_loaded让模型卸载释放显存新卡可用 bf16 进一步省内存。批量处理同一动作源排队多个参考图依次跑一次产出同动作不同人的对比视频。 收尾ComfyUI-MimicMotionWrapper 把视频动作迁移里最重的动作捕捉环节搬进了 ComfyUI 工作流把门槛从设备团队降到一张图一段视频。导入示例工作流换上自己的素材就能开工。【免费下载链接】ComfyUI-MimicMotionWrapper项目地址: https://gitcode.com/gh_mirrors/co/ComfyUI-MimicMotionWrapper创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考