这次我们来看一个针对 ComfyUI 的视频生成工作流更新核心是 Bernini 模型的多参考图视频生成能力并且集成了 INT8 量化与最新的 4 步加速 LORA。对于想在本地尝试视频生成又担心显存和速度问题的朋友这个组合方案值得关注。它不是一个全新的底层模型而是通过工作流整合与模型优化让视频生成的门槛和效率有了明显改善。最值得关注的几个点第一它支持多张参考图输入这意味着你可以用多张图片来引导视频的生成获得更可控、更一致的结果。第二模型经过了 INT8 量化处理这通常意味着更低的显存占用让一些显存不那么宽裕的显卡比如 8G 甚至 6G也有了运行的可能。第三集成了最新的 4 步加速 LORA理论上能大幅缩短单次推理的时间。第四提供了完整的 ComfyUI 工作流和模型文件通过网盘可以直接获取部署相对直接。本文将带你快速了解这套方案的核心能力、部署步骤和实际测试效果。我们会重点关注它的启动方式、显存占用情况、多参考图功能的使用方法以及如何验证加速 LORA 的效果。如果你已经安装了 ComfyUI并且对文生视频或图生视频感兴趣这篇文章可以帮你快速上手并评估其适用性。1. 核心能力速览下表整理了这套 Bernini 多参考图视频生成工作流的核心信息帮助你快速判断是否适合你的需求。能力项说明项目类型ComfyUI 工作流 优化模型组合包核心模型Bernini经 INT8 ConvRot 量化核心功能基于多张参考图生成短视频关键优化INT8 模型量化、4步加速LORA推荐硬件支持 CUDA 的 NVIDIA GPU显存需求见下文显存占用显著降低因 INT8 量化预计比 FP16 原版节省 30%-50% 显存实际需测试支持平台Windows / Linux (需已部署 ComfyUI 及相应依赖)启动方式导入工作流 JSON 文件至 ComfyUI是否支持 API支持通过 ComfyUI 的 API 接口是否支持批量支持可通过工作流调整或脚本实现资源获取双网盘如百度网盘、夸克网盘等提供工作流与模型下载适合场景本地测试多图引导视频生成、内容创作原型快速验证、对生成速度与显存有要求的场景重要说明INT8 量化在降低显存和加速推理的同时可能会对生成质量产生细微影响。4步加速LORA则旨在减少采样步数从而提升速度。这两项都是效率优化效果需要在具体生成中验证。2. 适用场景与使用边界这套工具链主要适合以下几类用户ComfyUI 中级使用者已经熟悉 ComfyUI 基本操作希望探索更高级视频生成工作流的用户。显存有限的创作者拥有 6GB-8GB 显存显卡希望本地运行视频生成对原版模型显存要求望而却步的用户。效率优先的体验者对生成速度敏感愿意尝试量化模型和加速LORA来换取更快迭代速度的用户。多图视频概念验证者需要利用多张静态图片如角色多角度、场景切换草图来引导生成一段连贯视频内容的创作者。需要谨慎注意的使用边界质量与效率的权衡INT8 量化和 4 步采样是典型的“以质量换速度/显存”方案。对于追求最高画质、细节无损的场景可能需要使用原版 FP16 模型和更多采样步数。非“零基础”工具你需要先部署好 ComfyUI 基础环境。这不是一个独立的一键安装包。版权与合规Bernini 作为生成模型其训练数据版权需使用者自行留意。生成的视频内容尤其是用于公开传播或商业用途时必须确保不侵犯他人肖像权、著作权内容符合法律法规。硬件依赖尽管经过优化它仍然需要 NVIDIA GPU 和足够的显存。CPU 模式理论上可能可行但速度会极慢不具实用性。3. 环境准备与前置条件在导入这个工作流之前请确保你的基础环境已经就绪。操作系统Windows 10/11 或 Linux 发行版。本文以 Windows 为例。Python 环境建议使用 Python 3.10 或 3.11。这是大多数 Stable Diffusion 相关工具链的推荐版本。ComfyUI 本体你必须已经成功安装并可以正常启动 ComfyUI。推荐使用秋叶大佬的整合包或从官方 GitHub 仓库克隆。秋叶整合包对于 Windows 用户最友好解压即用内置了常用插件和管理器。官方源码适合喜欢手动管理的用户通过git clone和pip install部署。GPU 与驱动显卡NVIDIA GPUGTX 10系列及以上推荐 RTX 20系列及以上以获得更好支持。显存这是关键。虽然经过 INT8 量化但视频生成本身消耗显存较大。建议准备至少 8GB 空闲显存进行测试。6GB 显存可能可以运行较低分辨率如 512x288的配置但极易爆显存。驱动与CUDA安装最新版 NVIDIA 显卡驱动。ComfyUI 通常会依赖 PyTorch 的 CUDA 版本确保你的 PyTorch 是 GPU 版本。磁盘空间除了 ComfyUI 本身需要额外下载 Bernini 量化模型文件和 4步加速 LORA 文件总计可能在 10GB 以上请预留足够空间。模型存放路径了解你的 ComfyUI 的模型目录结构。通常模型放在ComfyUI/models/下的对应子文件夹如checkpoints放主模型loras放 LORA。检查清单[ ] ComfyUI 可以正常打开 Web 界面。[ ] 在 ComfyUI 中能成功运行一个简单的文生图工作流。[ ]nvidia-smi命令可以正确显示 GPU 信息。[ ] 预留了足够的硬盘空间下载新模型。4. 安装部署与启动方式这里的“安装”主要指获取并放置工作流和模型文件。步骤一获取资源文件根据提供的“双网盘”链接下载包含以下内容的资源包工作流文件通常是一个.json文件例如bernini_multi_ref_video_workflow.json。Bernini INT8 量化模型一个.safetensors或.ckpt文件需要放入ComfyUI/models/checkpoints/目录。4步加速 LORA 文件一个.safetensors文件需要放入ComfyUI/models/loras/目录。可能的依赖节点如果工作流使用了非 ComfyUI 官方的自定义节点Custom Nodes你可能需要通过 ComfyUI Manager 单独安装它们。通常资源包会附带说明。步骤二放置模型文件将下载的模型文件复制到对应的目录# 假设你的 ComfyUI 安装在 D:\ComfyUI_windows\ # 将 Bernini 量化模型复制到主模型目录 D:\ComfyUI_windows\ComfyUI\models\checkpoints\ # 粘贴 bernini-int8.safetensors 到这里 # 将 4步加速 LORA 文件复制到 LORA 目录 D:\ComfyUI_windows\ComfyUI\models\loras\ # 粘贴 4step_accelerate_lora.safetensors 到这里步骤三导入并启动工作流启动你的 ComfyUI。如果是秋叶整合包双击run_nvidia_gpu.bat。在浏览器中打开 ComfyUI 的地址通常是http://127.0.0.1:8188。在 ComfyUI 界面右侧点击Load按钮。选择你下载的.json工作流文件并打开。工作流会自动加载到画布上。此时你需要检查几个关键节点是否加载正确Checkpoint Loader确认它加载的模型名称是你刚放入的 Bernini INT8 模型。如果显示红色或“未找到”请检查模型路径和文件名。LORA Loader确认它指向的 LORA 文件是刚放入的 4步加速 LORA。图像输入节点找到接收多张参考图的节点可能是Load Image或Load Image Batch节点。步骤四配置与运行设置参考图将你准备好的多张图片建议尺寸一致如 768x432拖拽到对应的Load Image节点上或通过节点上传。多图输入是为了给模型提供更丰富的视觉线索。调整参数检查并调整以下常见参数采样器Sampler与步数Steps由于使用了4步加速LORAsteps参数可以设置得较小例如4-8步但具体效果需测试。也可以尝试关闭LORA使用更多步数如20步对比质量。分辨率Width/Height首次测试建议使用较低分辨率如 512x288 或 640x360以降低显存压力并快速验证流程。视频帧数Frames设置你希望生成的视频总帧数。随机种子Seed可以固定一个种子以便复现结果。生成测试点击Queue Prompt按钮开始生成。此时请立即打开终端/命令行窗口观察显存占用情况。5. 功能测试与效果验证成功加载工作流后我们需要系统性地测试其核心功能。5.1 基础生成能力测试单图/多图输入测试目的验证工作流能否正常启动并生成视频比较单张参考图与多张参考图的效果差异。操作步骤单图测试在第一个Load Image节点上传一张风景或人物图片。其他图像输入节点留空或上传同一张图。设置较低参数分辨率 512x288帧数 24步数 8如果启用加速LORA。点击Queue Prompt生成。观察终端日志是否正常显存峰值是多少生成的视频是否连贯多图测试准备3-4张同一主题但视角/动作略有变化的图片例如一个人从左走到右的连续动作分解图。分别上传到不同的Load Image节点。保持其他参数不变再次生成。对比观察多图生成的视频其动作过渡是否比单图更自然、更符合参考图的序列意图预期结果与判断成功能正常输出一个视频文件通常是.mp4或.webm无报错。多图生成的视频应能体现出参考图之间的“过渡感”。失败排查如果报错“找不到模型”检查模型文件路径和Checkpoint Loader节点设置。如果报 CUDA out of memory降低分辨率、帧数或批处理大小。如果生成的视频闪烁严重或画面撕裂尝试增加采样步数、更换采样器如 Euler a或调整 CFG Scale。5.2 INT8 量化效果与显存占用验证测试目的直观感受 INT8 量化带来的显存节省。操作步骤保持工作流参数不变。在生成视频前记录 GPU 空闲显存。在命令行使用nvidia-smi查看。开始生成并迅速切换到命令行观察nvidia-smi中显存占用的峰值。可选对比测试如果你能找到原版 FP16 的 Bernini 模型用同样的工作流和参数去掉INT8模型换用原版运行一次记录峰值显存。判断标准INT8 版本的峰值显存占用应显著低于 FP16 版本理想情况下节省 30%-50%。即使没有原版对比你也可以评估当前占用是否在你的显卡承受范围内。例如8G 显存卡生成 512x288 视频时占用 6-7G 属于可接受范围。5.3 4步加速LORA速度测试测试目的验证加速LORA是否真的能减少采样步数而不严重损失质量。操作步骤启用 LORA确保LORA Loader节点正确加载了 4步加速 LORA并在CLIP Text Encode等节点后正确连接。设置steps 4。生成一段短视频记录终端显示的推理耗时。禁用 LORA断开LORA Loader节点与后续节点的连接或将其强度strength设为 0。设置steps 20一个常用基准。使用同样的种子和提示词生成视频记录耗时。对比两次生成的视频质量和耗时。预期结果启用4步LORA后step 4 的生成速度应远快于 step 20。质量上4步生成的结果可能在细节、清晰度上略逊于20步但整体构图和运动应该可辨。这是一种速度与质量的权衡。5.4 批量任务测试测试目的测试工作流处理多组任务的能力。操作步骤ComfyUI 本身支持通过 API 进行批量任务。更简单的方法是使用“效率工具”。在 ComfyUI 界面安装ComfyUI-Custom-Scripts或Efficiency Nodes等插件它们通常提供“从目录加载图像并批量处理”的节点。在工作流中将单次的Load Image节点替换为Load Image Batch from Directory类节点。将该节点指向一个包含多组参考图子文件夹的目录。设置好输出目录然后运行。观察是否能依次处理所有输入组并输出多个视频文件。判断标准能否自动化地连续生成多个视频而不需要手动上传每一组图片。6. 接口 API 与批量任务对于希望集成到自动化脚本或工具中的用户ComfyUI 的 API 是核心。启动 API 服务 ComfyUI 默认在启动时就开启了 API 服务通常位于http://127.0.0.1:8188。无需额外配置。通过 API 调用工作流获取工作流 API 格式在 ComfyUI Web 界面加载好你的 Bernini 工作流后点击Save (API Format)按钮会下载一个.json文件。这个文件包含了所有节点和连接的详细信息是 API 调用的模板。编写调用脚本以下是一个 Python 示例用于通过 API 触发工作流执行。import requests import json import time import sys import io def queue_prompt(prompt): # 将工作流数据发送到 ComfyUI 的 prompt 接口 p {prompt: prompt} data json.dumps(p).encode(utf-8) req requests.post(http://127.0.0.1:8188/prompt, datadata) return req.json() def get_image(filename, subfolder, folder_type): # 从 ComfyUI 获取生成的文件 data {filename: filename, subfolder: subfolder, type: folder_type} url_values requests.utils.urlencode(data) response requests.get(fhttp://127.0.0.1:8188/view?{url_values}) return response.content # 1. 加载你之前保存的 API 格式工作流文件 with open(bernini_multi_ref_video_workflow_api.json, r, encodingutf-8) as f: prompt_data json.load(f) # 2. 动态修改工作流中的参数例如种子、参考图路径等 # 假设节点ID可以通过查看API JSON文件获得这里需要你根据实际文件调整 # prompt_data[6][inputs][seed] 123456 # prompt_data[10][inputs][image] your_image_path.jpg # 修改图片节点 # 3. 提交任务 try: resp queue_prompt(prompt_data) prompt_id resp[prompt_id] print(fPrompt queued with ID: {prompt_id}) except Exception as e: print(fFailed to queue prompt: {e}) sys.exit(1) # 4. (可选) 监听任务完成并获取结果 # 更简单的方式是让 ComfyUI 将结果保存到输出目录然后直接去目录读取。批量任务设计目录扫描编写一个脚本扫描一个输入目录每个子文件夹包含一组多张参考图和一个可选的文本描述文件。模板替换对于每组任务读取 API 工作流模板用当前组的图片路径和参数替换模板中的对应值。队列管理使用queue_prompt依次提交任务。ComfyUI 会自行处理队列。注意控制并发数量避免显存溢出。结果收集监控 ComfyUI 的输出目录默认是ComfyUI/output/根据时间戳或任务ID将生成的视频文件移动到指定位置。7. 资源占用与性能观察这是评估该工作流能否在你机器上稳定运行的关键。观察显存占用工具Windows 任务管理器性能标签页或nvidia-smi命令。时机在点击Queue Prompt后立即观察。视频生成的初始加载阶段加载模型、编码图像和每一帧的生成阶段都可能是显存峰值。正常现象显存占用会快速上升到一个高点并维持生成结束后缓慢释放或部分释放。危险信号显存占用持续增长直至接近 100%然后 ComfyUI 崩溃或报CUDA out of memory错误。影响性能的关键参数分辨率Width x Height对显存和速度影响最大。分辨率翻倍显存消耗可能增加3-4倍。始终从低分辨率开始测试。视频帧数Frames与帧率FPS总帧数越多生成时间越长。帧率影响最终视频的播放速度但不直接影响单帧生成耗时。采样步数Steps步数越多单帧生成越慢但细节可能更好。4步加速LORA就是为了减少这个参数。批处理大小Batch Size如果工作流支持一次性生成多帧批处理这会大幅增加显存压力但可能提升整体效率。需根据显存谨慎调整。降低资源占用的技巧启用--lowvram模式如果使用命令行启动 ComfyUI可以添加--lowvram参数。这会使用更激进的内存交换策略用时间换空间。使用--cpu部分加载可以将 VAE 等部分组件强制放在 CPU 上运行在Extra options中设置但这会显著降低速度。优化工作流检查是否有节点在重复加载大模型尝试复用已加载的模型。8. 常见问题与排查方法问题现象可能原因排查方式解决方案导入工作流后节点报错红色1. 缺少自定义节点。2. 模型文件路径错误。1. 查看节点错误信息。2. 检查Checkpoint Loader和LORA Loader节点。1. 通过 ComfyUI Manager 安装缺失节点。2. 确认模型文件已放入正确目录并在节点中选中。点击生成后报错CUDA out of memory显存不足。观察nvidia-smi的显存占用峰值。1.降低分辨率最有效。2. 减少生成帧数。3. 关闭其他占用GPU的程序。4. 尝试启用--lowvram模式启动 ComfyUI。生成的视频闪烁、破碎或颜色异常1. 采样步数太少。2. CFG Scale 参数不匹配。3. 编码器问题。1. 逐步增加steps(如从8到20)。2. 调整 CFG Scale (如 7.5)。3. 检查视频编码节点设置。1. 增加采样步数或尝试不同的采样器如 DPM 2M Karras。2. 微调 CFG Scale。3. 确保使用正确的编码器如 libx264。多参考图效果不明显1. 参考图之间差异过大或过小。2. 工作流中多图融合权重设置不当。检查参考图是否具有逻辑连贯性如连续动作。查看是否有控制参考图权重的节点。1. 选择变化平滑、主题一致的参考图序列。2. 调整工作流中融合节点的强度参数。4步加速LORA后质量下降严重LORA 强度过高或与模型不匹配。对比启用/禁用 LORA以及不同steps下的效果。1. 尝试降低 LORA 节点的强度如从1.0降到0.7。2. 即使启用LORA也将steps适当提高到6-10步。API 调用返回错误或超时1. 工作流 JSON 格式错误。2. 节点ID引用错误。3. 服务器未启动或端口被占。1. 检查 API 格式 JSON 文件。2. 使用 ComfyUI 的Save (API Format)重新保存。3. 确认 ComfyUI 服务正在运行 (http://127.0.0.1:8188)。1. 使用官方提供的 API 示例脚本进行最简测试。2. 确保修改 prompt 数据时节点ID和结构正确。3. 重启 ComfyUI检查端口冲突。无法加载网盘中的模型文件1. 下载文件不完整。2. 文件格式不被识别。1. 检查文件大小是否与网盘标注一致。2. 尝试在 ComfyUI 中手动加载看错误信息。1. 重新下载文件确保网络稳定。2. 确认文件是.safetensors或.ckpt格式而非压缩包。9. 最佳实践与使用建议为了获得更好、更稳定的体验遵循以下建议从小开始逐步放大首次测试务必使用低分辨率如512x288、少帧数如16帧。成功后再逐步提高参数找到你显卡的“甜蜜点”。建立测试基准固定一组参考图和参数种子、步数、CFG作为你的“标准测试集”。每次更新模型、工作流或驱动后都用这组参数测试对比效果变化。管理好你的资源模型目录清晰分类存放checkpoints,loras,vae等。输入/输出目录为不同项目建立独立的输入图片文件夹和输出视频文件夹方便管理。工作流备份保存不同版本的工作流.json文件并备注其特点和参数。理解“加速”的代价INT8 量化和 4步 LORA 都是效率工具。在正式创作对质量要求高的内容时可以考虑切换回 FP16 模型和更多采样步数以获取最佳质量。合规使用生成内容始终明确你使用的参考图和你计划使用的生成视频的版权状态。用于个人学习和实验是安全的但任何公开分享或商业用途都必须谨慎避免侵权。利用社区ComfyUI 的社区非常活跃。如果你调整工作流时遇到复杂问题可以将你的工作流.json和错误信息截图分享到相关论坛或社群更容易获得帮助。这套 Bernini 多参考图视频生成工作流结合 INT8 量化和加速 LORA为本地视频生成提供了一个“降本增效”的实用方案。它的最大价值在于让显存有限的用户也能体验多图引导视频生成的能力并通过工作流实现了相对可控的输出。最先应该验证的就是在你的机器上用最低参数能否成功跑通流程并观察显存占用是否在安全范围内。最容易踩的坑往往是直接使用高分辨率参数导致显存溢出。成功部署后你可以进一步探索如何调整参考图的数量、顺序和内容来更精确地控制视频的叙事和运镜将其真正用于你的创作流程中。 ComfyUI Bernini多参考图视频生成：INT8量化与4步LORA加速实践
这次我们来看一个针对 ComfyUI 的视频生成工作流更新核心是 Bernini 模型的多参考图视频生成能力并且集成了 INT8 量化与最新的 4 步加速 LORA。对于想在本地尝试视频生成又担心显存和速度问题的朋友这个组合方案值得关注。它不是一个全新的底层模型而是通过工作流整合与模型优化让视频生成的门槛和效率有了明显改善。最值得关注的几个点第一它支持多张参考图输入这意味着你可以用多张图片来引导视频的生成获得更可控、更一致的结果。第二模型经过了 INT8 量化处理这通常意味着更低的显存占用让一些显存不那么宽裕的显卡比如 8G 甚至 6G也有了运行的可能。第三集成了最新的 4 步加速 LORA理论上能大幅缩短单次推理的时间。第四提供了完整的 ComfyUI 工作流和模型文件通过网盘可以直接获取部署相对直接。本文将带你快速了解这套方案的核心能力、部署步骤和实际测试效果。我们会重点关注它的启动方式、显存占用情况、多参考图功能的使用方法以及如何验证加速 LORA 的效果。如果你已经安装了 ComfyUI并且对文生视频或图生视频感兴趣这篇文章可以帮你快速上手并评估其适用性。1. 核心能力速览下表整理了这套 Bernini 多参考图视频生成工作流的核心信息帮助你快速判断是否适合你的需求。能力项说明项目类型ComfyUI 工作流 优化模型组合包核心模型Bernini经 INT8 ConvRot 量化核心功能基于多张参考图生成短视频关键优化INT8 模型量化、4步加速LORA推荐硬件支持 CUDA 的 NVIDIA GPU显存需求见下文显存占用显著降低因 INT8 量化预计比 FP16 原版节省 30%-50% 显存实际需测试支持平台Windows / Linux (需已部署 ComfyUI 及相应依赖)启动方式导入工作流 JSON 文件至 ComfyUI是否支持 API支持通过 ComfyUI 的 API 接口是否支持批量支持可通过工作流调整或脚本实现资源获取双网盘如百度网盘、夸克网盘等提供工作流与模型下载适合场景本地测试多图引导视频生成、内容创作原型快速验证、对生成速度与显存有要求的场景重要说明INT8 量化在降低显存和加速推理的同时可能会对生成质量产生细微影响。4步加速LORA则旨在减少采样步数从而提升速度。这两项都是效率优化效果需要在具体生成中验证。2. 适用场景与使用边界这套工具链主要适合以下几类用户ComfyUI 中级使用者已经熟悉 ComfyUI 基本操作希望探索更高级视频生成工作流的用户。显存有限的创作者拥有 6GB-8GB 显存显卡希望本地运行视频生成对原版模型显存要求望而却步的用户。效率优先的体验者对生成速度敏感愿意尝试量化模型和加速LORA来换取更快迭代速度的用户。多图视频概念验证者需要利用多张静态图片如角色多角度、场景切换草图来引导生成一段连贯视频内容的创作者。需要谨慎注意的使用边界质量与效率的权衡INT8 量化和 4 步采样是典型的“以质量换速度/显存”方案。对于追求最高画质、细节无损的场景可能需要使用原版 FP16 模型和更多采样步数。非“零基础”工具你需要先部署好 ComfyUI 基础环境。这不是一个独立的一键安装包。版权与合规Bernini 作为生成模型其训练数据版权需使用者自行留意。生成的视频内容尤其是用于公开传播或商业用途时必须确保不侵犯他人肖像权、著作权内容符合法律法规。硬件依赖尽管经过优化它仍然需要 NVIDIA GPU 和足够的显存。CPU 模式理论上可能可行但速度会极慢不具实用性。3. 环境准备与前置条件在导入这个工作流之前请确保你的基础环境已经就绪。操作系统Windows 10/11 或 Linux 发行版。本文以 Windows 为例。Python 环境建议使用 Python 3.10 或 3.11。这是大多数 Stable Diffusion 相关工具链的推荐版本。ComfyUI 本体你必须已经成功安装并可以正常启动 ComfyUI。推荐使用秋叶大佬的整合包或从官方 GitHub 仓库克隆。秋叶整合包对于 Windows 用户最友好解压即用内置了常用插件和管理器。官方源码适合喜欢手动管理的用户通过git clone和pip install部署。GPU 与驱动显卡NVIDIA GPUGTX 10系列及以上推荐 RTX 20系列及以上以获得更好支持。显存这是关键。虽然经过 INT8 量化但视频生成本身消耗显存较大。建议准备至少 8GB 空闲显存进行测试。6GB 显存可能可以运行较低分辨率如 512x288的配置但极易爆显存。驱动与CUDA安装最新版 NVIDIA 显卡驱动。ComfyUI 通常会依赖 PyTorch 的 CUDA 版本确保你的 PyTorch 是 GPU 版本。磁盘空间除了 ComfyUI 本身需要额外下载 Bernini 量化模型文件和 4步加速 LORA 文件总计可能在 10GB 以上请预留足够空间。模型存放路径了解你的 ComfyUI 的模型目录结构。通常模型放在ComfyUI/models/下的对应子文件夹如checkpoints放主模型loras放 LORA。检查清单[ ] ComfyUI 可以正常打开 Web 界面。[ ] 在 ComfyUI 中能成功运行一个简单的文生图工作流。[ ]nvidia-smi命令可以正确显示 GPU 信息。[ ] 预留了足够的硬盘空间下载新模型。4. 安装部署与启动方式这里的“安装”主要指获取并放置工作流和模型文件。步骤一获取资源文件根据提供的“双网盘”链接下载包含以下内容的资源包工作流文件通常是一个.json文件例如bernini_multi_ref_video_workflow.json。Bernini INT8 量化模型一个.safetensors或.ckpt文件需要放入ComfyUI/models/checkpoints/目录。4步加速 LORA 文件一个.safetensors文件需要放入ComfyUI/models/loras/目录。可能的依赖节点如果工作流使用了非 ComfyUI 官方的自定义节点Custom Nodes你可能需要通过 ComfyUI Manager 单独安装它们。通常资源包会附带说明。步骤二放置模型文件将下载的模型文件复制到对应的目录# 假设你的 ComfyUI 安装在 D:\ComfyUI_windows\ # 将 Bernini 量化模型复制到主模型目录 D:\ComfyUI_windows\ComfyUI\models\checkpoints\ # 粘贴 bernini-int8.safetensors 到这里 # 将 4步加速 LORA 文件复制到 LORA 目录 D:\ComfyUI_windows\ComfyUI\models\loras\ # 粘贴 4step_accelerate_lora.safetensors 到这里步骤三导入并启动工作流启动你的 ComfyUI。如果是秋叶整合包双击run_nvidia_gpu.bat。在浏览器中打开 ComfyUI 的地址通常是http://127.0.0.1:8188。在 ComfyUI 界面右侧点击Load按钮。选择你下载的.json工作流文件并打开。工作流会自动加载到画布上。此时你需要检查几个关键节点是否加载正确Checkpoint Loader确认它加载的模型名称是你刚放入的 Bernini INT8 模型。如果显示红色或“未找到”请检查模型路径和文件名。LORA Loader确认它指向的 LORA 文件是刚放入的 4步加速 LORA。图像输入节点找到接收多张参考图的节点可能是Load Image或Load Image Batch节点。步骤四配置与运行设置参考图将你准备好的多张图片建议尺寸一致如 768x432拖拽到对应的Load Image节点上或通过节点上传。多图输入是为了给模型提供更丰富的视觉线索。调整参数检查并调整以下常见参数采样器Sampler与步数Steps由于使用了4步加速LORAsteps参数可以设置得较小例如4-8步但具体效果需测试。也可以尝试关闭LORA使用更多步数如20步对比质量。分辨率Width/Height首次测试建议使用较低分辨率如 512x288 或 640x360以降低显存压力并快速验证流程。视频帧数Frames设置你希望生成的视频总帧数。随机种子Seed可以固定一个种子以便复现结果。生成测试点击Queue Prompt按钮开始生成。此时请立即打开终端/命令行窗口观察显存占用情况。5. 功能测试与效果验证成功加载工作流后我们需要系统性地测试其核心功能。5.1 基础生成能力测试单图/多图输入测试目的验证工作流能否正常启动并生成视频比较单张参考图与多张参考图的效果差异。操作步骤单图测试在第一个Load Image节点上传一张风景或人物图片。其他图像输入节点留空或上传同一张图。设置较低参数分辨率 512x288帧数 24步数 8如果启用加速LORA。点击Queue Prompt生成。观察终端日志是否正常显存峰值是多少生成的视频是否连贯多图测试准备3-4张同一主题但视角/动作略有变化的图片例如一个人从左走到右的连续动作分解图。分别上传到不同的Load Image节点。保持其他参数不变再次生成。对比观察多图生成的视频其动作过渡是否比单图更自然、更符合参考图的序列意图预期结果与判断成功能正常输出一个视频文件通常是.mp4或.webm无报错。多图生成的视频应能体现出参考图之间的“过渡感”。失败排查如果报错“找不到模型”检查模型文件路径和Checkpoint Loader节点设置。如果报 CUDA out of memory降低分辨率、帧数或批处理大小。如果生成的视频闪烁严重或画面撕裂尝试增加采样步数、更换采样器如 Euler a或调整 CFG Scale。5.2 INT8 量化效果与显存占用验证测试目的直观感受 INT8 量化带来的显存节省。操作步骤保持工作流参数不变。在生成视频前记录 GPU 空闲显存。在命令行使用nvidia-smi查看。开始生成并迅速切换到命令行观察nvidia-smi中显存占用的峰值。可选对比测试如果你能找到原版 FP16 的 Bernini 模型用同样的工作流和参数去掉INT8模型换用原版运行一次记录峰值显存。判断标准INT8 版本的峰值显存占用应显著低于 FP16 版本理想情况下节省 30%-50%。即使没有原版对比你也可以评估当前占用是否在你的显卡承受范围内。例如8G 显存卡生成 512x288 视频时占用 6-7G 属于可接受范围。5.3 4步加速LORA速度测试测试目的验证加速LORA是否真的能减少采样步数而不严重损失质量。操作步骤启用 LORA确保LORA Loader节点正确加载了 4步加速 LORA并在CLIP Text Encode等节点后正确连接。设置steps 4。生成一段短视频记录终端显示的推理耗时。禁用 LORA断开LORA Loader节点与后续节点的连接或将其强度strength设为 0。设置steps 20一个常用基准。使用同样的种子和提示词生成视频记录耗时。对比两次生成的视频质量和耗时。预期结果启用4步LORA后step 4 的生成速度应远快于 step 20。质量上4步生成的结果可能在细节、清晰度上略逊于20步但整体构图和运动应该可辨。这是一种速度与质量的权衡。5.4 批量任务测试测试目的测试工作流处理多组任务的能力。操作步骤ComfyUI 本身支持通过 API 进行批量任务。更简单的方法是使用“效率工具”。在 ComfyUI 界面安装ComfyUI-Custom-Scripts或Efficiency Nodes等插件它们通常提供“从目录加载图像并批量处理”的节点。在工作流中将单次的Load Image节点替换为Load Image Batch from Directory类节点。将该节点指向一个包含多组参考图子文件夹的目录。设置好输出目录然后运行。观察是否能依次处理所有输入组并输出多个视频文件。判断标准能否自动化地连续生成多个视频而不需要手动上传每一组图片。6. 接口 API 与批量任务对于希望集成到自动化脚本或工具中的用户ComfyUI 的 API 是核心。启动 API 服务 ComfyUI 默认在启动时就开启了 API 服务通常位于http://127.0.0.1:8188。无需额外配置。通过 API 调用工作流获取工作流 API 格式在 ComfyUI Web 界面加载好你的 Bernini 工作流后点击Save (API Format)按钮会下载一个.json文件。这个文件包含了所有节点和连接的详细信息是 API 调用的模板。编写调用脚本以下是一个 Python 示例用于通过 API 触发工作流执行。import requests import json import time import sys import io def queue_prompt(prompt): # 将工作流数据发送到 ComfyUI 的 prompt 接口 p {prompt: prompt} data json.dumps(p).encode(utf-8) req requests.post(http://127.0.0.1:8188/prompt, datadata) return req.json() def get_image(filename, subfolder, folder_type): # 从 ComfyUI 获取生成的文件 data {filename: filename, subfolder: subfolder, type: folder_type} url_values requests.utils.urlencode(data) response requests.get(fhttp://127.0.0.1:8188/view?{url_values}) return response.content # 1. 加载你之前保存的 API 格式工作流文件 with open(bernini_multi_ref_video_workflow_api.json, r, encodingutf-8) as f: prompt_data json.load(f) # 2. 动态修改工作流中的参数例如种子、参考图路径等 # 假设节点ID可以通过查看API JSON文件获得这里需要你根据实际文件调整 # prompt_data[6][inputs][seed] 123456 # prompt_data[10][inputs][image] your_image_path.jpg # 修改图片节点 # 3. 提交任务 try: resp queue_prompt(prompt_data) prompt_id resp[prompt_id] print(fPrompt queued with ID: {prompt_id}) except Exception as e: print(fFailed to queue prompt: {e}) sys.exit(1) # 4. (可选) 监听任务完成并获取结果 # 更简单的方式是让 ComfyUI 将结果保存到输出目录然后直接去目录读取。批量任务设计目录扫描编写一个脚本扫描一个输入目录每个子文件夹包含一组多张参考图和一个可选的文本描述文件。模板替换对于每组任务读取 API 工作流模板用当前组的图片路径和参数替换模板中的对应值。队列管理使用queue_prompt依次提交任务。ComfyUI 会自行处理队列。注意控制并发数量避免显存溢出。结果收集监控 ComfyUI 的输出目录默认是ComfyUI/output/根据时间戳或任务ID将生成的视频文件移动到指定位置。7. 资源占用与性能观察这是评估该工作流能否在你机器上稳定运行的关键。观察显存占用工具Windows 任务管理器性能标签页或nvidia-smi命令。时机在点击Queue Prompt后立即观察。视频生成的初始加载阶段加载模型、编码图像和每一帧的生成阶段都可能是显存峰值。正常现象显存占用会快速上升到一个高点并维持生成结束后缓慢释放或部分释放。危险信号显存占用持续增长直至接近 100%然后 ComfyUI 崩溃或报CUDA out of memory错误。影响性能的关键参数分辨率Width x Height对显存和速度影响最大。分辨率翻倍显存消耗可能增加3-4倍。始终从低分辨率开始测试。视频帧数Frames与帧率FPS总帧数越多生成时间越长。帧率影响最终视频的播放速度但不直接影响单帧生成耗时。采样步数Steps步数越多单帧生成越慢但细节可能更好。4步加速LORA就是为了减少这个参数。批处理大小Batch Size如果工作流支持一次性生成多帧批处理这会大幅增加显存压力但可能提升整体效率。需根据显存谨慎调整。降低资源占用的技巧启用--lowvram模式如果使用命令行启动 ComfyUI可以添加--lowvram参数。这会使用更激进的内存交换策略用时间换空间。使用--cpu部分加载可以将 VAE 等部分组件强制放在 CPU 上运行在Extra options中设置但这会显著降低速度。优化工作流检查是否有节点在重复加载大模型尝试复用已加载的模型。8. 常见问题与排查方法问题现象可能原因排查方式解决方案导入工作流后节点报错红色1. 缺少自定义节点。2. 模型文件路径错误。1. 查看节点错误信息。2. 检查Checkpoint Loader和LORA Loader节点。1. 通过 ComfyUI Manager 安装缺失节点。2. 确认模型文件已放入正确目录并在节点中选中。点击生成后报错CUDA out of memory显存不足。观察nvidia-smi的显存占用峰值。1.降低分辨率最有效。2. 减少生成帧数。3. 关闭其他占用GPU的程序。4. 尝试启用--lowvram模式启动 ComfyUI。生成的视频闪烁、破碎或颜色异常1. 采样步数太少。2. CFG Scale 参数不匹配。3. 编码器问题。1. 逐步增加steps(如从8到20)。2. 调整 CFG Scale (如 7.5)。3. 检查视频编码节点设置。1. 增加采样步数或尝试不同的采样器如 DPM 2M Karras。2. 微调 CFG Scale。3. 确保使用正确的编码器如 libx264。多参考图效果不明显1. 参考图之间差异过大或过小。2. 工作流中多图融合权重设置不当。检查参考图是否具有逻辑连贯性如连续动作。查看是否有控制参考图权重的节点。1. 选择变化平滑、主题一致的参考图序列。2. 调整工作流中融合节点的强度参数。4步加速LORA后质量下降严重LORA 强度过高或与模型不匹配。对比启用/禁用 LORA以及不同steps下的效果。1. 尝试降低 LORA 节点的强度如从1.0降到0.7。2. 即使启用LORA也将steps适当提高到6-10步。API 调用返回错误或超时1. 工作流 JSON 格式错误。2. 节点ID引用错误。3. 服务器未启动或端口被占。1. 检查 API 格式 JSON 文件。2. 使用 ComfyUI 的Save (API Format)重新保存。3. 确认 ComfyUI 服务正在运行 (http://127.0.0.1:8188)。1. 使用官方提供的 API 示例脚本进行最简测试。2. 确保修改 prompt 数据时节点ID和结构正确。3. 重启 ComfyUI检查端口冲突。无法加载网盘中的模型文件1. 下载文件不完整。2. 文件格式不被识别。1. 检查文件大小是否与网盘标注一致。2. 尝试在 ComfyUI 中手动加载看错误信息。1. 重新下载文件确保网络稳定。2. 确认文件是.safetensors或.ckpt格式而非压缩包。9. 最佳实践与使用建议为了获得更好、更稳定的体验遵循以下建议从小开始逐步放大首次测试务必使用低分辨率如512x288、少帧数如16帧。成功后再逐步提高参数找到你显卡的“甜蜜点”。建立测试基准固定一组参考图和参数种子、步数、CFG作为你的“标准测试集”。每次更新模型、工作流或驱动后都用这组参数测试对比效果变化。管理好你的资源模型目录清晰分类存放checkpoints,loras,vae等。输入/输出目录为不同项目建立独立的输入图片文件夹和输出视频文件夹方便管理。工作流备份保存不同版本的工作流.json文件并备注其特点和参数。理解“加速”的代价INT8 量化和 4步 LORA 都是效率工具。在正式创作对质量要求高的内容时可以考虑切换回 FP16 模型和更多采样步数以获取最佳质量。合规使用生成内容始终明确你使用的参考图和你计划使用的生成视频的版权状态。用于个人学习和实验是安全的但任何公开分享或商业用途都必须谨慎避免侵权。利用社区ComfyUI 的社区非常活跃。如果你调整工作流时遇到复杂问题可以将你的工作流.json和错误信息截图分享到相关论坛或社群更容易获得帮助。这套 Bernini 多参考图视频生成工作流结合 INT8 量化和加速 LORA为本地视频生成提供了一个“降本增效”的实用方案。它的最大价值在于让显存有限的用户也能体验多图引导视频生成的能力并通过工作流实现了相对可控的输出。最先应该验证的就是在你的机器上用最低参数能否成功跑通流程并观察显存占用是否在安全范围内。最容易踩的坑往往是直接使用高分辨率参数导致显存溢出。成功部署后你可以进一步探索如何调整参考图的数量、顺序和内容来更精确地控制视频的叙事和运镜将其真正用于你的创作流程中。