最近在AI绘画圈子里一个名为“蔡徐坤舞蹈动作迁移”的玩法火了起来。它能把一段视频里人物的舞蹈动作精准地“复制”到另一张静态图片的角色上生成一段全新的、动作流畅的舞蹈视频。更厉害的是它不仅能完美保留原始视频的背景还能替换成你想要的任何背景甚至能处理那些“非正常比例”比如Q版、动漫大头娃娃的角色让它们也能跳出丝滑的舞蹈。这背后依赖的正是ComfyUI这个强大的可视化AI工作流工具。对于很多刚接触AI视频生成的朋友来说Stable Video DiffusionSVD等模型的门槛较高而ComfyUI通过节点连接的方式将复杂的动作迁移流程变得直观可控。本文将为你彻底拆解这套爆火的动作迁移工作流从环境部署、模型下载、节点配置到实战生成手把手带你实现“保留背景”、“替换背景”以及“处理特殊角色”三大核心效果。无论你是想复现热门效果还是探索AI视频的更多可能性这篇教程都能提供一套完整、可复现的解决方案。1. 动作迁移与ComfyUI核心概念解析在深入实操之前我们有必要厘清几个核心概念这能帮助你更好地理解整个工作流的原理并在出问题时知道从何排查。1.1 什么是动作迁移动作迁移在AI绘画领域特指“视频到视频”的生成任务。其目标是给定一个源视频提供动作序列和一张目标图片提供角色形象生成一段新的视频。这段新视频中的角色将保持目标图片的外观如服装、发型、脸型但同时完美复现源视频中的动作姿态和时序变化。它与传统的“图生图”有本质区别图生图通常基于单张图片和文本提示词进行风格、内容的变化不涉及时间序列。动作迁移核心是处理时间序列信息保证动作在帧与帧之间的连贯性和自然性技术难度更高。目前实现高质量动作迁移主要依赖于两类模型AnimateDiff这是当前的主流方案。它通过在Stable Diffusion的U-Net中插入“运动模块”让原本只能生成单张图片的模型学会理解和生成连续帧之间的运动关系。你可以把它理解为给SD模型装上了“动画引擎”。SVD (Stable Video Diffusion)Meta推出的专门用于视频生成的扩散模型。它在设计之初就考虑了时序一致性在某些场景下效果惊人但对显存要求极高且可控性相对复杂。本文介绍的工作流核心正是基于AnimateDiff及其相关社区模型如mm_sd_v15_v2.ckpt来构建的。1.2 为什么选择ComfyUI你可能用过AUTOMATIC1111的WebUI它简单易用但在处理复杂、多步骤的流程时其线性工作流显得力不从心。ComfyUI的优势正在于此可视化节点编程每一个处理步骤如加载模型、编码图片、应用ControlNet都是一个节点通过连线来定义数据流。这使得复杂流程一目了然也便于调试和复用。极致可控性与灵活性你可以精确控制每一个参数轻松尝试不同的模型组合和预处理方式。例如可以很方便地并联多个ControlNet如OpenPose姿态和Canny边缘来共同约束生成结果。流程保存与分享整个工作流可以保存为一个.json文件他人导入即可完全复现这也是各种“魔法工作流”得以传播的基础。内存效率ComfyUI的执行引擎经过优化在处理复杂工作流时有时比WebUI更节省显存。对于动作迁移这种涉及多模型协作文生图模型、动作模型、ControlNet姿态模型的任务ComfyUI的节点化优势被发挥得淋漓尽致。1.3 核心效果保留背景、替换背景与特殊角色我们的目标工作流将实现三种典型效果保留背景将源视频中人物的动作迁移到目标角色上并完整保留源视频的原始背景环境。这需要将背景与前景人物分离处理。替换背景在迁移动作的同时用另一张图片或描述替换掉源视频的背景。这涉及到背景重绘或融合技术。非正常比例角色处理二次元、Q版、大头娃娃等与真人比例差异巨大的角色。关键在于姿态估计的适配和生成模型的引导防止人物变形。理解这些概念后我们就可以开始准备实战环境了。2. 环境准备与必备资源下载工欲善其事必先利其器。这一节将详细说明搭建动作迁移工作流所需的所有软件、模型和插件。2.1 ComfyUI本体安装推荐秋叶整合包对于Windows用户最省心的方式是使用“秋叶大佬”制作的ComfyUI整合包它集成了Python、PyTorch、常用插件和依赖解压即用。步骤获取整合包在可靠的资源站或社群寻找“秋叶ComfyUI整合包”。注意版本推荐使用较新的版本如整合包v9.5。下载后得到一个压缩文件。解压与准备将压缩包解压到一个英文路径的文件夹中例如D:\ComfyUI_windows_portable。路径中不要有中文或空格。增加虚拟内存重要AI生成对内存要求高。右键“此电脑” - “属性” - “高级系统设置” - “高级” - “性能设置” - “高级” - “虚拟内存” - “更改”。取消“自动管理”选择ComfyUI所在的驱动器点击“自定义大小”初始大小设置为32768(32GB)最大值设置为65536(64GB)。点击“设置”并“确定”重启电脑生效。启动进入解压后的文件夹双击运行run_nvidia_gpu.batN卡用户或对应的启动脚本。首次运行会下载一些依赖请保持网络通畅。启动成功后浏览器会自动打开http://127.0.0.1:8188界面。对于进阶用户或macOS/Linux用户 你可以通过Git从官方仓库克隆并安装git clone https://github.com/comfyanonymous/ComfyUI.git cd ComfyUI pip install -r requirements.txt然后运行python main.py启动。2.2 必备模型下载与放置ComfyUI的所有模型都需要手动放入对应的文件夹。以下是动作迁移工作流必需的模型清单及存放位置1. 基础文生图模型 (Checkpoint):作用决定生成画面的整体风格和质量是图像生成的基石。推荐模型chilloutmix_NiPrunedFp32Fix.safetensors(写实风格)、ghostmix_v20Bakedvae.safetensors(动漫风格)。你也可以使用任何你喜欢的SD1.5模型。存放路径ComfyUI/models/checkpoints/2. 动作模型 (Motion Module):作用为文生图模型赋予生成连续动画的能力是动作迁移的核心。必备模型mm_sd_v15_v2.ckpt。这是AnimateDiff项目发布的运动模块兼容SD1.5模型。存放路径ComfyUI/models/animatediff/(如果没有此文件夹请手动创建)。3. 姿态控制模型 (ControlNet):作用提取源视频中人物的姿态骨骼关键点并以此精确控制生成视频中角色的动作。必备模型control_v11p_sd15_openpose.pth。这是OpenPose姿态估计模型。可选模型control_v11p_sd15_canny.pth(用于边缘控制辅助保留背景结构)。存放路径ComfyUI/models/controlnet/4. 视频处理模型 (可选用于背景分离/增强):作用实现更精细的背景保留或替换。推荐工具/节点通常使用RIFE或FILM插值模型补帧或BackgroundRemoval节点配合u2net等模型进行抠图。这些大多通过ComfyUI管理器安装插件后自动下载。存放路径插件会自动管理通常也在ComfyUI/models/下的子目录。如何下载可以从知名的模型分享网站如Civitai、Hugging Face或国内镜像站下载上述模型文件。重要提示下载.safetensors格式的模型更安全。确保模型与Stable Diffusion 1.5架构兼容。2.3 必备插件安装ComfyUI的强大离不开社区插件。我们需要安装几个关键插件来完善工作流。通过 ComfyUI Manager 安装推荐启动ComfyUI后在浏览器界面右下角找到并点击“Manager”按钮。切换到“Install Custom Nodes”标签页。在搜索框中搜索以下插件名称然后点击“Install”ComfyUI-Impact-Pack功能极其强大的工具包包含图像处理、检测、分割等众多节点是高级工作流的基石。ComfyUI-AnimateDiff-EvolvedAnimateDiff的进化版插件提供了更强大、更易用的运动控制节点。was-node-suite-comfyui(或ComfyUI-WAS-Node-Suite)提供大量实用工具节点如图像缩放、混合、文本处理等。ComfyUI-VideoHelperSuite专门用于视频加载、拆帧、合成的工具集是处理视频输入输出的必备插件。安装完成后点击“Restart”重启ComfyUI以加载新插件。重启后你可以在节点菜单中看到新安装的插件类别例如ImpactPack、AnimateDiff、WAS Suite等。至此你的“数字影棚”已经搭建完毕接下来我们将进入最核心的部分——构建工作流。3. 核心工作流构建与节点详解我们将从零开始构建一个完整的动作迁移工作流。请跟着步骤在ComfyUI中逐一添加和连接节点。3.1 基础框架搭建加载模型与视频首先我们建立生成流程的骨干。清除默认界面启动ComfyUI后右键画布空白处选择 “Clear” 清空所有默认节点。加载Checkpoint右键 -Load Checkpoint。选择你下载的基础模型如chilloutmix。这个节点输出MODEL和CLIP。加载动作模块右键 -AnimateDiff Loader(位于AnimateDiff菜单下)。将上一步Load Checkpoint输出的MODEL连接到该节点的model输入。在motion_module中选择你下载的mm_sd_v15_v2.ckpt。这个节点输出一个集成了运动能力的MOTION_MODEL。加载视频右键 -Load Video(位于Video Helper Suite菜单下)。点击choose file to upload上传你的源视频提供动作的视频。设置frame_rate为视频原帧率如30force_rate为True。这个节点会输出多帧图像组成的IMAGE序列。关键参数解释frame_rate告诉工作流视频的原始速度用于计算总帧数和时间。force_rate设为True确保使用指定的帧率避免自动检测错误。3.2 姿态提取与控制这是保证动作一致性的关键步骤。提取视频姿态右键 -OpenPose PoseKeypoint(可能在ControlNet Preprocessors或ImpactPack下)。将Load Video输出的IMAGE序列连接到其image输入。这个节点会分析每一帧视频输出人物的骨骼关键点信息POSE_KEYPOINT。预览姿态可选但推荐右键 -Preview Pose(或Pose Keypoint Visualize)。连接上一步的POSE_KEYPOINT到其输入可以生成一个姿态预览图序列检查OpenPose是否准确识别了动作。加载ControlNet模型右键 -Apply ControlNet(或ControlNetLoader-Apply ControlNet)。更高效的方式是直接使用Apply ControlNet节点。将AnimateDiff Loader输出的MOTION_MODEL连接到model。在control_net_name中选择control_v11p_sd15_openpose.pth。将OpenPose PoseKeypoint输出的POSE_KEYPOINT连接到positive和negative的control_net输入有些节点是pose输入。设置strength(控制强度) 通常在0.8~1.0之间强度越高生成的角色姿态越严格遵循源视频。3.3 提示词与生成参数配置现在我们来告诉AI“画什么”。编写提示词右键 -CLIP Text Encode (Prompt)。正面提示词 (positive)描述你希望生成的角色形象、画质、背景等。例如(masterpiece, best quality), 1girl, white hair, blue dress, dancing in a studio, sharp focus。负面提示词 (negative)描述你不希望出现的内容。例如(worst quality, low quality:1.4), monochrome, zombie, (bad hands, bad anatomy)。将两个CLIP Text Encode节点的输出分别连接到Apply ControlNet节点的positive和negative的conditioning输入。配置采样器右键 -KSampler或KSampler Advanced。将Apply ControlNet输出的MODEL连接到model。将CLIP Text Encode处理后的CONDITIONING连接到positive和negative。设置采样参数steps: 采样步数20-30之间平衡速度与质量。cfg: 提示词相关性7-9之间越高越遵循提示词。sampler_name: 采样器euler或dpmpp_2m速度较快。scheduler: 调度器normal或karras。latent_image输入暂时空着我们需要先创建潜在空间。3.4 潜在空间与批次处理AnimateDiff需要处理一个批次的潜在噪声对应视频的每一帧。创建空潜在图像右键 -Empty Latent Image。设置width和height为你想要的输出视频分辨率如512x768。注意长宽比最好与你的目标角色图片适配。batch_size设置为1。这是因为AnimateDiff会自己处理批次。连接潜在图像到采样器将Empty Latent Image输出的LATENT连接到KSampler的latent_image。集成AnimateDiff上下文右键 -AnimateDiff Context(在AnimateDiff菜单下)。将KSampler输出的LATENT连接到其latent输入。关键参数length设置为你希望生成的视频总帧数必须与源视频分析出的帧数匹配。你可以从Load Video节点的输出信息中看到总帧数或者用Video Info节点获取。将AnimateDiff Context输出的LATENT连接到后续的VAE解码器。3.5 解码、预览与保存最后一步将生成的潜在表示转化为图像并保存。加载VAE右键 -VAE Loader。选择与你Checkpoint匹配的VAE模型通常内置可选vae-ft-mse-840000-ema-pruned.ckpt或直接用Baked VAE。将其连接到...解码图像右键 -VAE Decode。将AnimateDiff Context输出的LATENT连接到samples将VAE Loader输出的VAE连接到vae。输出IMAGE序列。预览图像右键 -Preview Image。连接VAE Decode输出的IMAGE可以快速查看某一帧的效果。保存视频右键 -Save Video(位于Video Helper Suite菜单下)。连接VAE Decode输出的IMAGE。设置filename_prefix如dance_migration。设置fps为想要的输出帧率通常与输入视频一致。设置format如video/h264-mp4生成mp4文件。点击Queue Prompt生成最终视频会保存在ComfyUI/output目录下。至此一个最基础的、替换背景的动作迁移工作流就完成了。它利用OpenPose控制姿态利用AnimateDiff生成连续动作并根据你的文本提示词生成全新的角色和背景。4. 实现高级效果保留背景与处理特殊角色基础工作流实现了动作和角色的完全重绘。但如何实现“保留背景”和“处理特殊比例角色”呢这需要引入更精细的控制。4.1 保留背景工作流核心思路将前景动作角色和背景分离处理最后再合成。 我们需要用到图像分割抠图和图像混合技术。步骤修改与新增背景分离在源视频上在Load Video节点后添加一个Separate Mask (Background)节点可能位于ImpactPack的Mask类别下。将视频IMAGE序列输入它会输出BACKGROUND_IMAGE(背景) 和MASK(前景人物蒙版)。注意自动抠图可能不完美对于复杂背景你可能需要预先用专业软件处理视频或使用Remove Background节点配合更好的模型如u2net。仅对前景区域进行动作生成我们需要让生成过程只发生在蒙版区域内。修改KSampler的输入。添加一个VAE Encode (for Inpainting)节点。将Empty Latent Image生成的空白潜在图像和上一步得到的前景MASK输入它会输出一个专门用于局部重绘的LATENT。将这个LATENT输入到KSampler。同时将MASK也连接到KSampler节点如果节点有mask输入并设置inpaint相关参数。合成最终图像经过VAE Decode后我们得到了新生成的、只有前景角色的IMAGE序列。添加一个Image Composite节点位于WAS Suite或Blend类别下。将原始的BACKGROUND_IMAGE序列作为背景层将新生成的IMAGE序列作为前景层将MASK作为前景层的蒙版输入。该节点会将新生成的角色根据蒙版合成到原始背景上输出最终IMAGE。调整提示词此时正面提示词应主要描述角色可以弱化对背景的描述因为背景将被保留。4.2 处理非正常比例角色Q版、动漫大头等角色其头身比、关节位置与真人OpenPose检测结果差异巨大直接使用会导致生成的角色身体扭曲。解决方案使用“参考图”进行风格和比例控制。准备目标角色参考图一张清晰、姿势接近源视频初始帧的目标角色图片。引入IP-Adapter或Reference ControlNetIP-Adapter这是一个强大的风格/特征参考插件。添加IPAdapter相关节点需先安装ComfyUI-IPAdapter-Plus插件。将你的目标角色参考图输入IP-Adapter它会提取角色的外观特征脸型、发型、服装样式、画风。将IP-Adapter的输出与Apply ControlNet后的MODEL相结合。这样生成器会同时受到“动作姿态”和“角色外观”的双重约束能更好地生成符合目标比例的角色。调整OpenPose强度对于比例差异极大的情况可以适当降低Apply ControlNet中OpenPose的strength如从1.0降至0.7给予生成模型更多自由度来适配角色自身比例。精心设计提示词在正面提示词中强烈强调角色的比例特征例如chibi, super deformed, huge head, small body, anime style, cute。在负面提示词中加入realistic, photo, human proportions。4.3 替换为指定背景这比保留背景更简单介于“完全重绘”和“保留背景”之间。准备背景图片一张你希望作为新背景的静态图片。修改工作流无需抠图步骤。在提示词中描述背景在正面提示词中详细描述你上传的背景图片的内容例如beautiful cherry blossom garden, sunny day, cinematic lighting。使用图像作为提示可选高级技巧可以使用CLIP Vision节点对背景图片进行编码然后将编码结果通过CLIP Text Encode的某种方式融入条件中。更简单的方法是使用ControlNet的tile或color模型将背景图片输入用于控制生成画面的色彩和风格使其与背景图更融合。5. 参数调优与常见问题排查即使节点连接正确生成结果也可能不尽如人意。以下是关键参数调优指南和常见问题解决方法。5.1 关键参数调优表参数节点参数名推荐范围作用与影响KSamplersteps20-30采样步数。步数低可能细节粗糙步数高耗时增加。20是常用起点。KSamplercfg7-9提示词遵从度。过低则动作迁移效果弱角色不像过高则画面僵硬可能损坏。Apply ControlNetstrength0.7-1.0OpenPose控制强度。强度高动作准但角色易变形强度低角色保持好但动作可能偏差。AnimateDiff Contextlength源视频帧数生成总帧数。必须与输入视频帧数匹配否则会导致动作错乱或视频长度不对。Empty Latent Imagewidth/height与目标角色适配输出分辨率。分辨率越高细节越好但显存消耗越大生成越慢。常见512x768, 576x1024。Load Videoframe_rate与视频一致输入视频帧率。影响动作速度计算。务必设置准确。5.2 常见问题与解决方案问题1生成的角色面目全非或者动作完全不对。原因AOpenPose识别失败。源视频人物太小、遮挡严重、穿着宽松衣物都可能导致姿态提取错误。解决使用Preview Pose节点检查提取的骨骼图。如果错误尝试对源视频进行预处理如裁剪、放大人物区域或换用其他姿态估计方法如DW Pose。原因BControlNet强度(strength)过高或过低。解决调整strength值。先从0.8开始尝试如果角色变形严重则调低如0.6如果动作不对则调高如1.0。原因C提示词与目标角色冲突。解决确保正面提示词准确描述目标角色如1boy, black hair, leather jacket。如果使用参考图IP-Adapter确保参考图质量高、姿势接近。问题2视频闪烁、抖动严重不连贯。原因Acfg值过高。高cfg会导致每一帧的生成过于独立缺乏时序一致性。解决尝试降低cfg到6-7.5之间。原因B缺少运动LoRA或上下文设置不当。基础AnimateDiff模型对复杂运动的平滑性支持有限。解决在AnimateDiff Loader中可以加载额外的运动LoRA如v2_lora_PanLeft.ckpt来稳定特定方向的运动。确保AnimateDiff Context中的context_length和length设置正确。原因C采样器或调度器不适合。解决尝试更换采样器如使用dpmpp_2m或ddim更换调度器为karras。问题3显存不足Out of Memory, OOM。原因分辨率过高、视频过长帧数多、同时加载模型过多。解决降低Empty Latent Image的分辨率。减少生成帧数(length)或先生成短视频片段。使用--lowvram参数启动ComfyUI修改启动脚本。在KSampler中启用Add Noise并选择合适的噪声分布有时可以节省显存。考虑使用ComfyUI Memory Efficient相关节点。问题4背景保留工作流中角色边缘有黑边或融合不自然。原因蒙版不够精确或者合成时羽化不够。解决使用更精确的抠图模型或手动修正蒙版。在Image Composite节点前对蒙版进行Grow Mask或Blur Mask操作使边缘过渡柔和。对生成的前景角色图像进行轻微的Blur或Sharpen处理使其与背景的光影色调更匹配。6. 工程实践与进阶技巧掌握基础工作流后以下技巧能帮助你提升产出效率与质量并探索更多玩法。6.1 工作流管理与分享保存工作流点击ComfyUI界面右侧的Save按钮可以将当前节点图保存为.json文件。建议用描述性名称命名如dance_migration_keep_bg.json。加载工作流点击Load按钮选择.json文件即可一键复现整个流程。这是学习和分享的利器。使用工作流模板将稳定可用的工作流保存为模板。对于新项目只需加载模板然后替换视频、图片和提示词即可极大提升效率。6.2 分阶段生成策略对于长视频或高难度动作一次性生成效果可能不好。分段生成将长视频按场景或动作片段切割成多个短视频分别生成最后用视频编辑软件拼接。低分辨率草稿首次生成时使用较低分辨率如384x640和较少步数15步快速测试动作和构图。满意后再使用Latent Upscale或Image Upscale节点进行高清重绘放大。6.3 融合多种ControlNet为了更精准的控制可以同时使用多个ControlNet。OpenPose CannyOpenPose控制姿态Canny控制背景轮廓在保留背景的工作流中尤其有用。OpenPose DepthDepth控制场景深度能让生成的角色更好地融入3D空间感的背景中。实现方法使用ControlNet Apply Advanced节点它可以串联多个ControlNet条件。将第一个ControlNet的输出MODEL作为第二个ControlNet的输入依此类推。6.4 利用LoRA微调风格想让生成的角色更贴近某个特定画风或角色角色LoRA如果目标角色是某个特定动漫人物可以训练或下载对应的LoRA模型。风格LoRA可以加载画风LoRA如“水墨风”、“赛博朋克”等。加载方式在Load Checkpoint节点后添加Lora Loader节点将基础MODEL和CLIP输入选择LoRA文件并设置强度通常0.5-1.0输出增强后的MODEL和CLIP再输入给后续流程。通过本教程你应该已经能够从零开始在ComfyUI中搭建起功能完整的动作迁移工作流并实现保留背景、替换背景乃至处理特殊比例角色的高级效果。这个工作流是一个强大的起点你可以在此基础上不断实验尝试不同的基础模型、融合更多ControlNet、调整提示词魔法创造出独一无二的AI动画。记住AI生成充满随机性耐心调试参数、分析失败案例是获得满意结果的必经之路。