最近在探索AI视频生成领域时发现很多教程都在讲“Codex 这个工具”、“Codex 那个模型”听起来很热闹但往往缺少一个能从头到尾跑通、能看到最终视频结果的完整实战案例。作为开发者我们更关心的是如何把工具用起来而不是停留在概念拼接。本文将彻底解决这个问题带你一镜到底从零开始搞定Codex实现一键自动生成视频的全流程。无论你是想为自媒体内容寻找效率工具还是希望将AI视频能力集成到自己的项目中这篇文章都将提供一套可复现的解决方案。我们将涵盖环境搭建、核心配置、脚本编写、结果展示以及避坑指南确保你读完就能动手做出自己的第一个AI视频。1. Codex 是什么它能解决什么问题在深入实战之前我们有必要厘清“Codex”在这个语境下的具体所指。根据当前的网络讨论热点“Codex”一词在此处并非特指OpenAI那个用于代码生成的Codex模型而是指一个集成了多种AI模型能力可能包括文本生成、图像生成、视频合成等的AI应用平台或工具。它通常作为一个“中转站”或“调度中心”允许用户通过配置串联起从文本脚本到最终视频的整个生成流水线。核心价值与常见场景自动化内容创作输入一个主题或脚本自动生成对应的视频文案、分镜画面并合成最终视频极大提升视频制作的效率。降低技术门槛用户无需深入学习Stable Diffusion、Sora或其他视频生成模型、TTS等每一个独立工具通过Codex的界面或配置即可调用。工作流集成对于开发者而言可以通过API或CLI将视频生成能力嵌入到自己的应用或自动化流程中。简单来说本文要搞定的“Codex”是一个能够帮你“一键生成视频”的AI工具链的统称或具体实现。接下来我们就从最实际的环境搭建开始。2. 环境准备与工具说明由于“Codex”可能指代不同的具体实现如一些开源项目或整合平台为了确保教程的通用性和可复现性我们将以一种常见的、基于命令行和Python的AI视频生成工作流为例进行演示。这个工作流模拟了“Codex”的核心思想串联多个AI服务。基础环境要求操作系统Windows 10/11 macOS 或 Linux (Ubuntu 20.04)。本文示例以Windows为主其他系统命令略有不同。Python版本 3.8 - 3.10。推荐使用3.9兼容性最好。包管理工具pip(随Python安装)。代码编辑器VS Code推荐便于管理脚本和查看日志。网络环境需要能正常访问相关AI服务的API请确保合法合规使用。核心工具链准备我们的“一键视频”流水线将涉及以下几个环节你需要准备相应的API密钥或本地模型文本生成 (文案/脚本)例如使用 OpenAI GPT API、DeepSeek API 或本地运行的 ChatGLM 等。本文使用openai库调用 GPT-3.5/4 为例。文本转语音 (TTS)例如使用 Edge-TTS、Azure TTS 或 OpenAI TTS API。本文使用免费、易用的edge-tts。文本生成图像/视频帧例如使用 Stable Diffusion API (如通过diffusers库调用本地模型或使用 Stable Diffusion WebUI 的 API)。本文假设使用本地部署的 Stable Diffusion WebUI 的 API。图像合成视频 音频合成使用moviepy库这是Python下强大的视频编辑库。流程控制与调度我们将编写一个Python主脚本来串联以上所有步骤。安装必要的Python库打开你的终端(CMD/PowerShell/Terminal)或VS Code的终端创建一个新的项目目录并安装依赖。# 创建项目目录并进入 mkdir ai_video_maker cd ai_video_maker # 创建虚拟环境可选但推荐 python -m venv venv # Windows 激活 venv\Scripts\activate # macOS/Linux 激活 # source venv/bin/activate # 安装核心库 pip install openai # 用于GPT API调用 pip install edge-tts # 用于文本转语音 pip install requests # 用于调用Stable Diffusion API pip install moviepy # 用于视频剪辑合成 pip install pillow # 图像处理moviepy依赖API密钥与本地服务准备OpenAI API访问 OpenAI 平台创建并保存好你的API Key。Stable Diffusion WebUI确保你已在本地如http://127.0.0.1:7860或某个可访问的服务器上部署并启动了 Stable Diffusion WebUI且开启了--api选项。例如启动命令.\webui.bat --api。其他edge-tts无需密钥。在项目根目录下创建一个.env文件来管理敏感信息记得将其加入.gitignore# .env 文件内容 OPENAI_API_KEY你的-openai-api-key-here # STABLE_DIFFUSION_API_BASEhttp://127.0.0.1:78603. 核心流程拆解与模块编写我们的目标是实现一个脚本输入一个主题如“夏日海滩度假”自动完成以下步骤生成视频文案/分镜描述。将文案转换为语音。根据分镜描述生成一系列图片。将图片合成为视频并配上背景音乐和语音。下面我们分模块实现。3.1 模块一使用GPT生成视频脚本与分镜创建一个文件script_generator.py# script_generator.py import openai import os from dotenv import load_dotenv # 加载环境变量 load_dotenv() class ScriptGenerator: def __init__(self): self.client openai.OpenAI(api_keyos.getenv(OPENAI_API_KEY)) # 设置一个基础的系统提示词引导GPT生成结构化的分镜脚本 self.system_prompt 你是一个专业的视频分镜脚本作家。请根据用户提供的主题生成一个短视频的脚本。 脚本需要包含 1. 一段简短的旁白文案用于配音约100-150字。 2. 3-5个分镜场景描述。每个描述应清晰、具体适合用于AI绘画生成图片。 请以JSON格式回复包含两个字段narration (旁白文本) 和 scenes (场景描述列表)。 示例格式 { narration: 这里是生成的旁白文案..., scenes: [场景1描述阳光明媚的海滩海浪轻轻拍打沙滩远处有椰子树, 场景2描述...] } def generate_script(self, topic): try: response self.client.chat.completions.create( modelgpt-3.5-turbo-1106, # 或 gpt-4 messages[ {role: system, content: self.system_prompt}, {role: user, content: f视频主题{topic}} ], response_format{type: json_object} # 要求返回JSON ) result response.choices[0].message.content # 解析JSON import json script_data json.loads(result) return script_data except Exception as e: print(f生成脚本时出错: {e}) return None if __name__ __main__: generator ScriptGenerator() topic input(请输入视频主题) script generator.generate_script(topic) if script: print(旁白文案, script.get(narration)) print(\n分镜场景) for i, scene in enumerate(script.get(scenes, [])): print(f{i1}. {scene})3.2 模块二使用Edge-TTS生成配音创建一个文件tts_generator.py# tts_generator.py import edge_tts import asyncio import os class TTSGenerator: def __init__(self, voicezh-CN-XiaoxiaoNeural): # 中文语音可以选择其他声音如 zh-CN-YunxiNeural (男声) self.voice voice async def generate_speech_async(self, text, output_fileoutput/narration.mp3): 异步生成语音文件 # 确保输出目录存在 os.makedirs(os.path.dirname(output_file), exist_okTrue) communicate edge_tts.Communicate(text, self.voice) await communicate.save(output_file) print(f语音文件已生成{output_file}) return output_file def generate_speech(self, text, output_fileoutput/narration.mp3): 同步包装函数 return asyncio.run(self.generate_speech_async(text, output_file)) if __name__ __main__: tts TTSGenerator() test_text 这是一个测试语音用于验证TTS功能是否正常。 tts.generate_speech(test_text)3.3 模块三调用Stable Diffusion API生成图片创建一个文件image_generator.py。这里假设你的Stable Diffusion WebUI运行在本地默认端口。# image_generator.py import requests import json import os import time class ImageGenerator: def __init__(self, base_urlhttp://127.0.0.1:7860): self.base_url base_url self.txt2img_url f{base_url}/sdapi/v1/txt2img def generate_image(self, prompt, negative_prompt, steps20, cfg_scale7, width512, height512, output_diroutput/images): 根据提示词生成单张图片 os.makedirs(output_dir, exist_okTrue) payload { prompt: prompt, negative_prompt: negative_prompt, steps: steps, cfg_scale: cfg_scale, width: width, height: height, sampler_name: Euler a, # 采样器 seed: -1, # 随机种子 } try: response requests.post(urlself.txt2img_url, jsonpayload) response.raise_for_status() r response.json() # 保存图片 import base64 from PIL import Image import io for i, img_base64 in enumerate(r[images]): image_data base64.b64decode(img_base64) image Image.open(io.BytesIO(image_data)) timestamp int(time.time()) filename os.path.join(output_dir, fscene_{timestamp}_{i}.png) image.save(filename) print(f图片已生成{filename}) return filename except requests.exceptions.ConnectionError: print(f错误无法连接到Stable Diffusion API请确保WebUI已启动在 {self.base_url} 并开启了--api选项。) return None except Exception as e: print(f生成图片时出错: {e}) return None def generate_images_for_scenes(self, scene_descriptions, output_diroutput/images): 为多个场景描述生成图片 image_paths [] for idx, scene_desc in enumerate(scene_descriptions): print(f正在生成第 {idx1} 个场景的图片{scene_desc}) # 可以在这里为每个场景定制不同的参数如宽高比 img_path self.generate_image( promptfmasterpiece, best quality, {scene_desc}, negative_promptlow quality, worst quality, bad anatomy, blurry, output_diroutput_dir ) if img_path: image_paths.append(img_path) # 避免请求过快 time.sleep(2) return image_paths if __name__ __main__: # 测试连接和生成 generator ImageGenerator() # 先测试API是否连通 try: resp requests.get(generator.base_url) if resp.status_code 200: print(Stable Diffusion API 连接正常。) # 生成一张测试图 test_prompt a beautiful sunset over the mountains, digital art generator.generate_image(test_prompt) else: print(API连接异常。) except: print(无法连接到Stable Diffusion服务。)3.4 模块四使用MoviePy合成最终视频创建一个文件video_composer.py# video_composer.py from moviepy.editor import * import os class VideoComposer: def __init__(self): pass def create_video(self, image_paths, audio_path, output_fileoutput/final_video.mp4, duration_per_image3, fps24): 将图片列表和音频合成为视频。 :param image_paths: 图片路径列表 :param audio_path: 配音音频文件路径 :param output_file: 输出视频文件路径 :param duration_per_image: 每张图片显示的秒数 :param fps: 视频帧率 os.makedirs(os.path.dirname(output_file), exist_okTrue) # 1. 创建图片剪辑列表 clips [] for img_path in image_paths: # 为每张图片创建一个固定时长的剪辑 img_clip ImageClip(img_path).set_duration(duration_per_image) clips.append(img_clip) if not clips: print(错误没有可用的图片剪辑。) return False # 2. 拼接所有图片剪辑 video concatenate_videoclips(clips, methodcompose) # 3. 加载音频 audio AudioFileClip(audio_path) # 4. 设置视频的音频 # 如果视频比音频长则截断视频如果音频比视频长则循环图片或延长最后一张图片这里选择截断音频 final_video video.set_audio(audio.subclip(0, min(audio.duration, video.duration))) # 5. 写入视频文件 final_video.write_videofile(output_file, fpsfps, codeclibx264, audio_codecaac) print(f最终视频已生成{output_file}) # 释放资源 final_video.close() audio.close() for clip in clips: clip.close() return True if __name__ __main__: # 测试用两张示例图片和一段测试音频合成视频 composer VideoComposer() test_images [output/images/scene_1.png, output/images/scene_2.png] # 请确保文件存在 test_audio output/narration.mp3 if os.path.exists(test_images[0]) and os.path.exists(test_audio): composer.create_video(test_images, test_audio, duration_per_image4) else: print(测试文件不存在请先运行其他模块生成素材。)4. 一镜到底主控脚本串联全流程现在我们将所有模块整合到一个主脚本中实现真正的“一键生成”。创建main.py# main.py import os import json from script_generator import ScriptGenerator from tts_generator import TTSGenerator from image_generator import ImageGenerator from video_composer import VideoComposer import time def main(): print( AI 视频一键生成流程开始 ) # 0. 初始化各模块 script_gen ScriptGenerator() tts_gen TTSGenerator() img_gen ImageGenerator() # 确保你的SD WebUI正在运行 video_comp VideoComposer() # 1. 用户输入主题 topic input(请输入你想要制作的视频主题例如未来城市、森林冒险).strip() if not topic: topic 夏日海滩 # 默认主题 print(f主题已确定{topic}) print(正在生成视频脚本和分镜...) # 2. 生成脚本和分镜 script_data script_gen.generate_script(topic) if not script_data: print(脚本生成失败流程终止。) return narration script_data.get(narration, ) scenes script_data.get(scenes, []) print(脚本生成成功) print(f旁白文案长度{len(narration)} 字) print(f分镜数量{len(scenes)} 个) # 保存脚本为JSON便于查看和复用 script_file foutput/script_{int(time.time())}.json os.makedirs(output, exist_okTrue) with open(script_file, w, encodingutf-8) as f: json.dump(script_data, f, ensure_asciiFalse, indent2) print(f脚本已保存至{script_file}) # 3. 生成配音 print(\n正在生成配音...) audio_file tts_gen.generate_speech(narration, output_fileoutput/narration.mp3) if not audio_file or not os.path.exists(audio_file): print(配音生成失败流程终止。) return print(配音生成完成。) # 4. 为每个分镜生成图片 print(f\n正在为 {len(scenes)} 个分镜生成图片...) image_paths img_gen.generate_images_for_scenes(scenes, output_diroutput/images) if not image_paths: print(图片生成失败流程终止。) return print(f成功生成 {len(image_paths)} 张图片。) # 5. 合成最终视频 print(\n正在合成最终视频...) output_video foutput/final_video_{int(time.time())}.mp4 success video_comp.create_video( image_pathsimage_paths, audio_pathaudio_file, output_fileoutput_video, duration_per_image5 # 每张图片显示5秒可根据旁白长度调整 ) if success: print(f\n 恭喜视频生成完成 ) print(f最终视频文件{os.path.abspath(output_video)}) print(你可以用播放器打开查看。) else: print(视频合成失败。) print(\n 流程结束 ) if __name__ __main__: main()5. 运行与结果展示现在激动人心的时刻到了。请按顺序确保Stable Diffusion WebUI 已以--api模式启动。你的.env文件中已配置正确的OPENAI_API_KEY。所有依赖已安装 (pip install -r requirements.txt如果你创建了该文件的话)。在项目根目录下运行我们的主脚本python main.py你将看到如下交互和输出 AI 视频一键生成流程开始 请输入你想要制作的视频主题例如未来城市、森林冒险深海探索 主题已确定深海探索 正在生成视频脚本和分镜... 脚本生成成功 旁白文案长度125 字 分镜数量4 个 脚本已保存至output/script_1712345678.json 正在生成配音... 语音文件已生成output/narration.mp3 配音生成完成。 正在为 4 个分镜生成图片... 正在生成第 1 个场景的图片场景1描述幽暗的深海一束潜水器的探照灯光划破黑暗照亮了奇特的珊瑚群。 图片已生成output/images/scene_1712345679_0.png 正在生成第 2 个场景的图片场景2描述一群发光的水母在深海中缓缓飘动色彩斑斓如梦似幻。 图片已生成output/images/scene_1712345682_0.png ... 成功生成 4 张图片。 正在合成最终视频... Moviepy - Building video output/final_video_1712345695.mp4. Moviepy - Writing video output/final_video_1712345695.mp4 ... Moviepy - Done ! 最终视频已生成output/final_video_1712345695.mp4 恭喜视频生成完成 最终视频文件D:\projects\ai_video_maker\output\final_video_1712345695.mp4 你可以用播放器打开查看。 流程结束 打开生成的final_video_1712345695.mp4你将看到一个长约20秒的视频画面根据“深海探索”的主题自动生成了4张对应的图片并配有由AI生成的旁白配音。这就是“一键自动做视频”的完整成果6. 常见问题与排查思路 (FAQ)在实践过程中你可能会遇到一些问题。以下是常见问题的排查指南问题现象可能原因解决思路运行python main.py报ModuleNotFoundError依赖库未安装或虚拟环境未激活。1. 确认已进入虚拟环境命令行前有(venv)。2. 运行pip install -r requirements.txt或重新安装缺失的包。脚本生成失败返回NoneOpenAI API 密钥错误、网络问题或额度不足。1. 检查.env文件中的OPENAI_API_KEY是否正确。2. 检查网络连接。3. 登录OpenAI平台查看额度与账单。连接 Stable Diffusion API 失败Stable Diffusion WebUI 未启动或未以--api模式启动。1. 进入你的SD WebUI目录使用.\webui.bat --api(Windows) 或./webui.sh --api(Linux/macOS) 重新启动。2. 检查image_generator.py中的base_url是否与WebUI地址一致。图片生成失败或质量很差提示词不够具体或SD模型不支持。1. 在image_generator.py的generate_image方法中优化prompt和negative_prompt。2. 尝试在WebUI界面手动调整参数如更换模型、采样器找到最佳配置后回填到代码中。生成的视频没有声音或音画不同步音频文件损坏或图片显示时长与音频长度不匹配。1. 检查output/narration.mp3文件是否能正常播放。2. 调整main.py中create_video的duration_per_image参数使总图片时长接近音频时长。moviepy报错关于ImageMagick或ffmpegmoviepy依赖ffmpeg进行视频处理。1.安装ffmpeg访问 ffmpeg 官网下载并添加到系统环境变量PATH中或通过包管理器安装如brew install ffmpeg/apt install ffmpeg。2. 重启终端或IDE。错误cc switch local proxy failed...此错误常出现在某些特定的Codex客户端或代理配置中与网络或客户端设置有关。1. 本教程使用的是直接调用各服务API的纯Python方案不依赖特定Codex客户端可忽略此错误。2. 如果遇到请检查你的系统代理设置或尝试在纯净的网络环境下运行。7. 优化与最佳实践基础流程跑通后你可以从以下几个方面优化你的“Codex”视频生成器使其更强大、更实用提升画面质量与一致性使用更优的SD模型在Stable Diffusion WebUI中加载更擅长写实、动漫或特定风格的Checkpoint模型。引入ControlNet在image_generator.py的API调用中加入ControlNet参数使用线稿、深度图等控制生成画面构图使不同分镜的画面风格和角色保持一致。优化提示词工程为GPT的系统提示词增加更详细的要求例如指定画面风格“电影感”、“赛博朋克”、“水墨风”、镜头语言“特写”、“全景”。增强视频表现力添加背景音乐使用moviepy在合成时混入一段背景音乐注意调整音量平衡。添加转场效果moviepy支持淡入淡出、滑动等转场效果可以在video_composer.py的clips拼接处加入。添加字幕利用moviepy的TextClip功能将旁白文案以字幕形式叠加到视频底部。工程化与健壮性配置化管理将模型参数、路径、API地址等写入config.yaml文件便于管理和切换不同项目配置。增加日志与错误处理使用Python的logging模块记录完整流程日志便于出错时回溯。对每个模块的调用进行更细致的异常捕获和重试机制。异步处理图片生成是耗时大户可以使用asyncio或concurrent.futures并发调用SD API大幅缩短等待时间。创建图形界面使用gradio或streamlit快速构建一个Web界面让非开发者也能轻松使用。探索更多可能性接入其他视频生成模型除了用图片合成可以直接调用如Pika Labs、RunwayML等生成短视频片段的API如果可用。动态分镜让GPT不仅生成静态场景描述还能生成简单的运镜指令如“镜头缓慢拉远”并在合成时通过图片缩放、平移模拟动态效果。通过以上步骤你不仅实现了一个基础的“Codex”式一键视频生成工具更掌握了一套可扩展、可优化的AI工作流构建方法。从理解需求、拆分模块、集成API到最终合成这个过程本身比使用任何一个现成的黑盒工具更有价值。 从零构建AI视频生成工作流：基于GPT、Stable Diffusion与MoviePy的完整实战
最近在探索AI视频生成领域时发现很多教程都在讲“Codex 这个工具”、“Codex 那个模型”听起来很热闹但往往缺少一个能从头到尾跑通、能看到最终视频结果的完整实战案例。作为开发者我们更关心的是如何把工具用起来而不是停留在概念拼接。本文将彻底解决这个问题带你一镜到底从零开始搞定Codex实现一键自动生成视频的全流程。无论你是想为自媒体内容寻找效率工具还是希望将AI视频能力集成到自己的项目中这篇文章都将提供一套可复现的解决方案。我们将涵盖环境搭建、核心配置、脚本编写、结果展示以及避坑指南确保你读完就能动手做出自己的第一个AI视频。1. Codex 是什么它能解决什么问题在深入实战之前我们有必要厘清“Codex”在这个语境下的具体所指。根据当前的网络讨论热点“Codex”一词在此处并非特指OpenAI那个用于代码生成的Codex模型而是指一个集成了多种AI模型能力可能包括文本生成、图像生成、视频合成等的AI应用平台或工具。它通常作为一个“中转站”或“调度中心”允许用户通过配置串联起从文本脚本到最终视频的整个生成流水线。核心价值与常见场景自动化内容创作输入一个主题或脚本自动生成对应的视频文案、分镜画面并合成最终视频极大提升视频制作的效率。降低技术门槛用户无需深入学习Stable Diffusion、Sora或其他视频生成模型、TTS等每一个独立工具通过Codex的界面或配置即可调用。工作流集成对于开发者而言可以通过API或CLI将视频生成能力嵌入到自己的应用或自动化流程中。简单来说本文要搞定的“Codex”是一个能够帮你“一键生成视频”的AI工具链的统称或具体实现。接下来我们就从最实际的环境搭建开始。2. 环境准备与工具说明由于“Codex”可能指代不同的具体实现如一些开源项目或整合平台为了确保教程的通用性和可复现性我们将以一种常见的、基于命令行和Python的AI视频生成工作流为例进行演示。这个工作流模拟了“Codex”的核心思想串联多个AI服务。基础环境要求操作系统Windows 10/11 macOS 或 Linux (Ubuntu 20.04)。本文示例以Windows为主其他系统命令略有不同。Python版本 3.8 - 3.10。推荐使用3.9兼容性最好。包管理工具pip(随Python安装)。代码编辑器VS Code推荐便于管理脚本和查看日志。网络环境需要能正常访问相关AI服务的API请确保合法合规使用。核心工具链准备我们的“一键视频”流水线将涉及以下几个环节你需要准备相应的API密钥或本地模型文本生成 (文案/脚本)例如使用 OpenAI GPT API、DeepSeek API 或本地运行的 ChatGLM 等。本文使用openai库调用 GPT-3.5/4 为例。文本转语音 (TTS)例如使用 Edge-TTS、Azure TTS 或 OpenAI TTS API。本文使用免费、易用的edge-tts。文本生成图像/视频帧例如使用 Stable Diffusion API (如通过diffusers库调用本地模型或使用 Stable Diffusion WebUI 的 API)。本文假设使用本地部署的 Stable Diffusion WebUI 的 API。图像合成视频 音频合成使用moviepy库这是Python下强大的视频编辑库。流程控制与调度我们将编写一个Python主脚本来串联以上所有步骤。安装必要的Python库打开你的终端(CMD/PowerShell/Terminal)或VS Code的终端创建一个新的项目目录并安装依赖。# 创建项目目录并进入 mkdir ai_video_maker cd ai_video_maker # 创建虚拟环境可选但推荐 python -m venv venv # Windows 激活 venv\Scripts\activate # macOS/Linux 激活 # source venv/bin/activate # 安装核心库 pip install openai # 用于GPT API调用 pip install edge-tts # 用于文本转语音 pip install requests # 用于调用Stable Diffusion API pip install moviepy # 用于视频剪辑合成 pip install pillow # 图像处理moviepy依赖API密钥与本地服务准备OpenAI API访问 OpenAI 平台创建并保存好你的API Key。Stable Diffusion WebUI确保你已在本地如http://127.0.0.1:7860或某个可访问的服务器上部署并启动了 Stable Diffusion WebUI且开启了--api选项。例如启动命令.\webui.bat --api。其他edge-tts无需密钥。在项目根目录下创建一个.env文件来管理敏感信息记得将其加入.gitignore# .env 文件内容 OPENAI_API_KEY你的-openai-api-key-here # STABLE_DIFFUSION_API_BASEhttp://127.0.0.1:78603. 核心流程拆解与模块编写我们的目标是实现一个脚本输入一个主题如“夏日海滩度假”自动完成以下步骤生成视频文案/分镜描述。将文案转换为语音。根据分镜描述生成一系列图片。将图片合成为视频并配上背景音乐和语音。下面我们分模块实现。3.1 模块一使用GPT生成视频脚本与分镜创建一个文件script_generator.py# script_generator.py import openai import os from dotenv import load_dotenv # 加载环境变量 load_dotenv() class ScriptGenerator: def __init__(self): self.client openai.OpenAI(api_keyos.getenv(OPENAI_API_KEY)) # 设置一个基础的系统提示词引导GPT生成结构化的分镜脚本 self.system_prompt 你是一个专业的视频分镜脚本作家。请根据用户提供的主题生成一个短视频的脚本。 脚本需要包含 1. 一段简短的旁白文案用于配音约100-150字。 2. 3-5个分镜场景描述。每个描述应清晰、具体适合用于AI绘画生成图片。 请以JSON格式回复包含两个字段narration (旁白文本) 和 scenes (场景描述列表)。 示例格式 { narration: 这里是生成的旁白文案..., scenes: [场景1描述阳光明媚的海滩海浪轻轻拍打沙滩远处有椰子树, 场景2描述...] } def generate_script(self, topic): try: response self.client.chat.completions.create( modelgpt-3.5-turbo-1106, # 或 gpt-4 messages[ {role: system, content: self.system_prompt}, {role: user, content: f视频主题{topic}} ], response_format{type: json_object} # 要求返回JSON ) result response.choices[0].message.content # 解析JSON import json script_data json.loads(result) return script_data except Exception as e: print(f生成脚本时出错: {e}) return None if __name__ __main__: generator ScriptGenerator() topic input(请输入视频主题) script generator.generate_script(topic) if script: print(旁白文案, script.get(narration)) print(\n分镜场景) for i, scene in enumerate(script.get(scenes, [])): print(f{i1}. {scene})3.2 模块二使用Edge-TTS生成配音创建一个文件tts_generator.py# tts_generator.py import edge_tts import asyncio import os class TTSGenerator: def __init__(self, voicezh-CN-XiaoxiaoNeural): # 中文语音可以选择其他声音如 zh-CN-YunxiNeural (男声) self.voice voice async def generate_speech_async(self, text, output_fileoutput/narration.mp3): 异步生成语音文件 # 确保输出目录存在 os.makedirs(os.path.dirname(output_file), exist_okTrue) communicate edge_tts.Communicate(text, self.voice) await communicate.save(output_file) print(f语音文件已生成{output_file}) return output_file def generate_speech(self, text, output_fileoutput/narration.mp3): 同步包装函数 return asyncio.run(self.generate_speech_async(text, output_file)) if __name__ __main__: tts TTSGenerator() test_text 这是一个测试语音用于验证TTS功能是否正常。 tts.generate_speech(test_text)3.3 模块三调用Stable Diffusion API生成图片创建一个文件image_generator.py。这里假设你的Stable Diffusion WebUI运行在本地默认端口。# image_generator.py import requests import json import os import time class ImageGenerator: def __init__(self, base_urlhttp://127.0.0.1:7860): self.base_url base_url self.txt2img_url f{base_url}/sdapi/v1/txt2img def generate_image(self, prompt, negative_prompt, steps20, cfg_scale7, width512, height512, output_diroutput/images): 根据提示词生成单张图片 os.makedirs(output_dir, exist_okTrue) payload { prompt: prompt, negative_prompt: negative_prompt, steps: steps, cfg_scale: cfg_scale, width: width, height: height, sampler_name: Euler a, # 采样器 seed: -1, # 随机种子 } try: response requests.post(urlself.txt2img_url, jsonpayload) response.raise_for_status() r response.json() # 保存图片 import base64 from PIL import Image import io for i, img_base64 in enumerate(r[images]): image_data base64.b64decode(img_base64) image Image.open(io.BytesIO(image_data)) timestamp int(time.time()) filename os.path.join(output_dir, fscene_{timestamp}_{i}.png) image.save(filename) print(f图片已生成{filename}) return filename except requests.exceptions.ConnectionError: print(f错误无法连接到Stable Diffusion API请确保WebUI已启动在 {self.base_url} 并开启了--api选项。) return None except Exception as e: print(f生成图片时出错: {e}) return None def generate_images_for_scenes(self, scene_descriptions, output_diroutput/images): 为多个场景描述生成图片 image_paths [] for idx, scene_desc in enumerate(scene_descriptions): print(f正在生成第 {idx1} 个场景的图片{scene_desc}) # 可以在这里为每个场景定制不同的参数如宽高比 img_path self.generate_image( promptfmasterpiece, best quality, {scene_desc}, negative_promptlow quality, worst quality, bad anatomy, blurry, output_diroutput_dir ) if img_path: image_paths.append(img_path) # 避免请求过快 time.sleep(2) return image_paths if __name__ __main__: # 测试连接和生成 generator ImageGenerator() # 先测试API是否连通 try: resp requests.get(generator.base_url) if resp.status_code 200: print(Stable Diffusion API 连接正常。) # 生成一张测试图 test_prompt a beautiful sunset over the mountains, digital art generator.generate_image(test_prompt) else: print(API连接异常。) except: print(无法连接到Stable Diffusion服务。)3.4 模块四使用MoviePy合成最终视频创建一个文件video_composer.py# video_composer.py from moviepy.editor import * import os class VideoComposer: def __init__(self): pass def create_video(self, image_paths, audio_path, output_fileoutput/final_video.mp4, duration_per_image3, fps24): 将图片列表和音频合成为视频。 :param image_paths: 图片路径列表 :param audio_path: 配音音频文件路径 :param output_file: 输出视频文件路径 :param duration_per_image: 每张图片显示的秒数 :param fps: 视频帧率 os.makedirs(os.path.dirname(output_file), exist_okTrue) # 1. 创建图片剪辑列表 clips [] for img_path in image_paths: # 为每张图片创建一个固定时长的剪辑 img_clip ImageClip(img_path).set_duration(duration_per_image) clips.append(img_clip) if not clips: print(错误没有可用的图片剪辑。) return False # 2. 拼接所有图片剪辑 video concatenate_videoclips(clips, methodcompose) # 3. 加载音频 audio AudioFileClip(audio_path) # 4. 设置视频的音频 # 如果视频比音频长则截断视频如果音频比视频长则循环图片或延长最后一张图片这里选择截断音频 final_video video.set_audio(audio.subclip(0, min(audio.duration, video.duration))) # 5. 写入视频文件 final_video.write_videofile(output_file, fpsfps, codeclibx264, audio_codecaac) print(f最终视频已生成{output_file}) # 释放资源 final_video.close() audio.close() for clip in clips: clip.close() return True if __name__ __main__: # 测试用两张示例图片和一段测试音频合成视频 composer VideoComposer() test_images [output/images/scene_1.png, output/images/scene_2.png] # 请确保文件存在 test_audio output/narration.mp3 if os.path.exists(test_images[0]) and os.path.exists(test_audio): composer.create_video(test_images, test_audio, duration_per_image4) else: print(测试文件不存在请先运行其他模块生成素材。)4. 一镜到底主控脚本串联全流程现在我们将所有模块整合到一个主脚本中实现真正的“一键生成”。创建main.py# main.py import os import json from script_generator import ScriptGenerator from tts_generator import TTSGenerator from image_generator import ImageGenerator from video_composer import VideoComposer import time def main(): print( AI 视频一键生成流程开始 ) # 0. 初始化各模块 script_gen ScriptGenerator() tts_gen TTSGenerator() img_gen ImageGenerator() # 确保你的SD WebUI正在运行 video_comp VideoComposer() # 1. 用户输入主题 topic input(请输入你想要制作的视频主题例如未来城市、森林冒险).strip() if not topic: topic 夏日海滩 # 默认主题 print(f主题已确定{topic}) print(正在生成视频脚本和分镜...) # 2. 生成脚本和分镜 script_data script_gen.generate_script(topic) if not script_data: print(脚本生成失败流程终止。) return narration script_data.get(narration, ) scenes script_data.get(scenes, []) print(脚本生成成功) print(f旁白文案长度{len(narration)} 字) print(f分镜数量{len(scenes)} 个) # 保存脚本为JSON便于查看和复用 script_file foutput/script_{int(time.time())}.json os.makedirs(output, exist_okTrue) with open(script_file, w, encodingutf-8) as f: json.dump(script_data, f, ensure_asciiFalse, indent2) print(f脚本已保存至{script_file}) # 3. 生成配音 print(\n正在生成配音...) audio_file tts_gen.generate_speech(narration, output_fileoutput/narration.mp3) if not audio_file or not os.path.exists(audio_file): print(配音生成失败流程终止。) return print(配音生成完成。) # 4. 为每个分镜生成图片 print(f\n正在为 {len(scenes)} 个分镜生成图片...) image_paths img_gen.generate_images_for_scenes(scenes, output_diroutput/images) if not image_paths: print(图片生成失败流程终止。) return print(f成功生成 {len(image_paths)} 张图片。) # 5. 合成最终视频 print(\n正在合成最终视频...) output_video foutput/final_video_{int(time.time())}.mp4 success video_comp.create_video( image_pathsimage_paths, audio_pathaudio_file, output_fileoutput_video, duration_per_image5 # 每张图片显示5秒可根据旁白长度调整 ) if success: print(f\n 恭喜视频生成完成 ) print(f最终视频文件{os.path.abspath(output_video)}) print(你可以用播放器打开查看。) else: print(视频合成失败。) print(\n 流程结束 ) if __name__ __main__: main()5. 运行与结果展示现在激动人心的时刻到了。请按顺序确保Stable Diffusion WebUI 已以--api模式启动。你的.env文件中已配置正确的OPENAI_API_KEY。所有依赖已安装 (pip install -r requirements.txt如果你创建了该文件的话)。在项目根目录下运行我们的主脚本python main.py你将看到如下交互和输出 AI 视频一键生成流程开始 请输入你想要制作的视频主题例如未来城市、森林冒险深海探索 主题已确定深海探索 正在生成视频脚本和分镜... 脚本生成成功 旁白文案长度125 字 分镜数量4 个 脚本已保存至output/script_1712345678.json 正在生成配音... 语音文件已生成output/narration.mp3 配音生成完成。 正在为 4 个分镜生成图片... 正在生成第 1 个场景的图片场景1描述幽暗的深海一束潜水器的探照灯光划破黑暗照亮了奇特的珊瑚群。 图片已生成output/images/scene_1712345679_0.png 正在生成第 2 个场景的图片场景2描述一群发光的水母在深海中缓缓飘动色彩斑斓如梦似幻。 图片已生成output/images/scene_1712345682_0.png ... 成功生成 4 张图片。 正在合成最终视频... Moviepy - Building video output/final_video_1712345695.mp4. Moviepy - Writing video output/final_video_1712345695.mp4 ... Moviepy - Done ! 最终视频已生成output/final_video_1712345695.mp4 恭喜视频生成完成 最终视频文件D:\projects\ai_video_maker\output\final_video_1712345695.mp4 你可以用播放器打开查看。 流程结束 打开生成的final_video_1712345695.mp4你将看到一个长约20秒的视频画面根据“深海探索”的主题自动生成了4张对应的图片并配有由AI生成的旁白配音。这就是“一键自动做视频”的完整成果6. 常见问题与排查思路 (FAQ)在实践过程中你可能会遇到一些问题。以下是常见问题的排查指南问题现象可能原因解决思路运行python main.py报ModuleNotFoundError依赖库未安装或虚拟环境未激活。1. 确认已进入虚拟环境命令行前有(venv)。2. 运行pip install -r requirements.txt或重新安装缺失的包。脚本生成失败返回NoneOpenAI API 密钥错误、网络问题或额度不足。1. 检查.env文件中的OPENAI_API_KEY是否正确。2. 检查网络连接。3. 登录OpenAI平台查看额度与账单。连接 Stable Diffusion API 失败Stable Diffusion WebUI 未启动或未以--api模式启动。1. 进入你的SD WebUI目录使用.\webui.bat --api(Windows) 或./webui.sh --api(Linux/macOS) 重新启动。2. 检查image_generator.py中的base_url是否与WebUI地址一致。图片生成失败或质量很差提示词不够具体或SD模型不支持。1. 在image_generator.py的generate_image方法中优化prompt和negative_prompt。2. 尝试在WebUI界面手动调整参数如更换模型、采样器找到最佳配置后回填到代码中。生成的视频没有声音或音画不同步音频文件损坏或图片显示时长与音频长度不匹配。1. 检查output/narration.mp3文件是否能正常播放。2. 调整main.py中create_video的duration_per_image参数使总图片时长接近音频时长。moviepy报错关于ImageMagick或ffmpegmoviepy依赖ffmpeg进行视频处理。1.安装ffmpeg访问 ffmpeg 官网下载并添加到系统环境变量PATH中或通过包管理器安装如brew install ffmpeg/apt install ffmpeg。2. 重启终端或IDE。错误cc switch local proxy failed...此错误常出现在某些特定的Codex客户端或代理配置中与网络或客户端设置有关。1. 本教程使用的是直接调用各服务API的纯Python方案不依赖特定Codex客户端可忽略此错误。2. 如果遇到请检查你的系统代理设置或尝试在纯净的网络环境下运行。7. 优化与最佳实践基础流程跑通后你可以从以下几个方面优化你的“Codex”视频生成器使其更强大、更实用提升画面质量与一致性使用更优的SD模型在Stable Diffusion WebUI中加载更擅长写实、动漫或特定风格的Checkpoint模型。引入ControlNet在image_generator.py的API调用中加入ControlNet参数使用线稿、深度图等控制生成画面构图使不同分镜的画面风格和角色保持一致。优化提示词工程为GPT的系统提示词增加更详细的要求例如指定画面风格“电影感”、“赛博朋克”、“水墨风”、镜头语言“特写”、“全景”。增强视频表现力添加背景音乐使用moviepy在合成时混入一段背景音乐注意调整音量平衡。添加转场效果moviepy支持淡入淡出、滑动等转场效果可以在video_composer.py的clips拼接处加入。添加字幕利用moviepy的TextClip功能将旁白文案以字幕形式叠加到视频底部。工程化与健壮性配置化管理将模型参数、路径、API地址等写入config.yaml文件便于管理和切换不同项目配置。增加日志与错误处理使用Python的logging模块记录完整流程日志便于出错时回溯。对每个模块的调用进行更细致的异常捕获和重试机制。异步处理图片生成是耗时大户可以使用asyncio或concurrent.futures并发调用SD API大幅缩短等待时间。创建图形界面使用gradio或streamlit快速构建一个Web界面让非开发者也能轻松使用。探索更多可能性接入其他视频生成模型除了用图片合成可以直接调用如Pika Labs、RunwayML等生成短视频片段的API如果可用。动态分镜让GPT不仅生成静态场景描述还能生成简单的运镜指令如“镜头缓慢拉远”并在合成时通过图片缩放、平移模拟动态效果。通过以上步骤你不仅实现了一个基础的“Codex”式一键视频生成工具更掌握了一套可扩展、可优化的AI工作流构建方法。从理解需求、拆分模块、集成API到最终合成这个过程本身比使用任何一个现成的黑盒工具更有价值。