1. 为什么要在本地搭一套AI短剧生产线1.1 从“云端抽卡”到“本地工厂”的转变逻辑做AI短剧这件事我前后折腾了差不多一年半。最开始那几个月我完全是云端工具的重度用户每天开着网页排队、等额度、刷新页面生成一段五秒钟的镜头要等十几分钟遇到高峰期直接卡死。最要命的是你永远不知道下个月的价格会涨成什么样也不知道哪天你依赖的那个服务会突然改规则。这种“寄人篱下”的感觉做过内容生产的人都懂——你的产能不掌握在自己手里。后来我开始认真考虑本地部署这条路。核心原因有三个第一是成本可控一次性投入硬件之后边际成本几乎为零你生成一百条还是一千条电费差别不大第二是数据私密短剧的剧本、角色设定、分镜提示词这些都属于核心资产放在自己机器上心里踏实第三是流程可定制本地环境里你可以把各个环节串成自动化流水线从剧本拆解到画面生成再到视频合成全部用脚本打通真正实现“输入一个想法输出一集成片”。这套思路说白了就是把AI短剧生产从“手工作坊”升级成“流水线工厂”。你不再是一个一个镜头去抽卡而是设计好一套工作流让机器批量跑。这个转变的关键就在于把几个核心工具在本地环境里跑通并且串联起来。1.2 这套本地方案适合什么样的人先说清楚这套方案不是给纯小白准备的“一键出片”神器。它需要你至少具备以下能力中的两到三项能看懂基本的命令行操作、愿意花时间折腾环境配置、对AI生成的基本原理有概念、有至少一台性能还过得去的电脑。如果你连解压文件都要找人帮忙那建议先去看看基础的电脑操作教程或者直接花钱买现成的云端服务别为难自己。但如果你符合下面这些描述那这套方案就非常适合你你已经在用ComfyUI或者类似工具做AI绘画想进一步扩展到视频领域你有一定的编程基础能看懂Python脚本知道怎么改配置文件你打算长期做AI短剧内容希望建立一套稳定、可复用、成本可控的生产流程你愿意花一个周末的时间把环境搭好然后享受后面几个月的自动化产出。我自己的配置是一台带RTX 4070 Ti Super的台式机32G内存2T固态硬盘。这个配置跑本地大语言模型和ComfyUI出图都够用视频合成环节稍微吃紧但也能跑。如果你还在选硬件阶段记住一个原则显存优先于算力内存优先于硬盘速度。AI短剧这条链路里显存决定了你能跑多大的模型、出多高分辨率的图内存决定了你能不能同时开多个环节不卡死。1.3 整条生产线的环节拆解在动手之前你得先搞清楚AI短剧从零到成片要经过哪些步骤。我把整条链路拆成五个核心环节每个环节对应一个或几个工具环节作用核心工具输出物剧本生成把创意扩写成完整剧本和分镜本地大语言模型Ollama/DeepSeek等剧本文本、分镜表画面生成根据分镜描述生成关键帧图像ComfyUI角色图、场景图视频生成把静态图转成动态视频片段ComfyUI视频节点/其他视频模型短视频片段语音合成生成角色对白配音本地TTS工具音频文件视频合成把画面、音频、字幕合成为成片FFmpeg最终视频文件这五个环节里剧本生成和画面生成是大家最熟悉的视频生成是当前技术迭代最快的部分语音合成相对成熟视频合成则是纯工程活。整条链路串起来之后你就可以实现“给一个主题自动产出一集短剧”的效果。当然实际做的时候每个环节都需要人工干预和调整但至少框架是自动化的。2. 本地环境搭建的核心工具选型与配置2.1 大语言模型本地部署Ollama与DeepSeek的搭配剧本生成环节我试过好几种方案。最早用的是云端API后来转到本地部署目前最顺手的是Ollama DeepSeek的组合。Ollama的好处是安装简单、模型管理方便一条命令就能拉取和运行模型。DeepSeek系列模型在中文理解和创意写作上表现不错尤其是写短剧这种需要对话和冲突设计的任务比一些通用模型更对味。安装Ollama的步骤很简单去官网下载对应系统的安装包双击安装然后在终端里运行ollama pull deepseek-r1:14b ollama run deepseek-r1:14b第一行命令是拉取模型第二行是运行。14B这个版本在我的4070 Ti Super上跑起来比较流畅生成速度大概每秒20-30个token写一集短剧的剧本大概需要两三分钟。如果你显存只有8G建议用7B或8B的版本速度会快很多质量差距在短剧这种场景下不算太明显。注意Ollama默认把模型存在系统盘如果你的C盘空间紧张记得在安装后设置环境变量OLLAMA_MODELS指向其他盘符。这个坑我踩过模型文件动辄十几GC盘很快就红了。写剧本的时候提示词的设计很关键。我一般会准备一套模板包含短剧类型、目标时长、角色设定、核心冲突这几个要素。比如你要做一集三分钟的都市甜宠短剧提示词可以这样写你是一位专业的短剧编剧。请根据以下要求写一集3分钟的短剧剧本 类型都市甜宠 角色女主是咖啡店老板男主是常来买咖啡的程序员 核心冲突女主误以为男主是来收购店铺的商人 要求包含5个场景每个场景有明确的画面描述和对白结尾留悬念这套提示词我反复调整过很多次关键是要把“画面描述”单独列出来因为后面ComfyUI生成画面时需要用到这些描述。如果剧本里只有对白没有画面描述你还得再花时间转换很麻烦。2.2 ComfyUI的安装与秋叶整合包的选择ComfyUI是整条链路里最核心的工具负责画面生成和视频生成。它的安装方式有好几种我推荐新手直接用秋叶整合包。原因很简单ComfyUI本身依赖一大堆Python库和模型文件手动配置环境很容易出现版本冲突秋叶整合包把这些都打包好了解压就能用。下载秋叶整合包的时候注意版本2026年的v10版本已经比较成熟了内置了常用的节点和插件。解压到一个空间充足的硬盘分区然后运行启动脚本。第一次启动会慢一些因为要初始化环境后面就快了。启动之后你会看到一个节点式的界面这就是ComfyUI的工作流编辑器。它的逻辑是每个节点代表一个操作节点之间用线连接表示数据流向。比如“加载模型”节点输出模型“输入提示词”节点输出文本“采样器”节点接收模型和文本输出图像。这种设计一开始可能不太习惯但用熟了之后非常灵活你可以精确控制每一步。提示秋叶整合包默认的工作流是文生图做短剧需要用到图生视频的工作流。你可以在ComfyUI的插件市场里搜索视频相关的节点或者直接导入别人分享的工作流JSON文件。我建议先去社区找几个成熟的短剧工作流导入之后根据自己的需求微调比从零搭建快得多。ComfyUI的模型文件放在models目录下不同用途的模型放在不同子目录checkpoints放主模型loras放风格微调模型vae放编码器controlnet放控制模型。做短剧的话我建议至少准备两三个不同风格的主模型比如一个写实风、一个动漫风根据剧本类型切换。2.3 FFmpeg的安装与基础命令准备FFmpeg是视频合成环节的瑞士军刀功能极其强大但命令行参数也多得吓人。新手第一次看到FFmpeg的文档基本都会懵我当初也是。但你不需要掌握全部功能做AI短剧只需要用到其中一小部分。安装FFmpeg在Windows上最简单的方式是下载编译好的压缩包解压后把bin目录添加到系统环境变量PATH里。验证安装是否成功在终端里输入ffmpeg -version如果能看到版本信息说明安装成功。Linux用户可以用包管理器安装但要注意有些发行版自带的FFmpeg版本较老可能不支持某些新编码器。如果你需要硬件加速编码建议安装带NVIDIA支持的版本具体方法后面会讲。做短剧最常用的FFmpeg操作有这么几个把图片序列合成视频、把音频和视频合并、给视频加字幕、调整视频分辨率和码率、拼接多个视频片段。这些操作对应的命令我整理了一个速查表放在后面的实操章节里。2.4 OpenClaw在自动化流程中的角色OpenClaw这个工具在热词里出现频率很高它的定位是自动化流程编排。简单说它可以把前面几个环节串起来你给它一个主题它自动调用大语言模型生成剧本然后把剧本拆成分镜再调用ComfyUI生成画面最后调用FFmpeg合成视频。整个过程不需要你手动干预。安装OpenClaw的方式有几种Windows上可以用WSL2环境Mac上直接安装甚至可以在安卓的Termux里原生部署。我主要用Windows的WSL2方案因为和主系统的文件交互比较方便。安装过程中可能会遇到“could not safely verify the wsl2 environment”这类报错通常是WSL2的版本或配置问题更新WSL内核或者重新启用相关功能一般能解决。OpenClaw的配置文件是核心你需要定义每个环节调用什么工具、传什么参数。比如剧本生成环节你要指定用哪个Ollama模型、提示词模板放在哪里画面生成环节你要指定ComfyUI的API地址和工作流文件路径。配置好之后OpenClaw就能按照你定义的流程自动执行。注意OpenClaw的自动化程度越高出错时的排查难度也越大。建议先把每个环节单独跑通确认没问题之后再串成自动化流程。我一开始贪快直接上全自动结果中间某个环节报错花了半天才定位到问题。3. 从剧本到成片的完整实操流程3.1 剧本生成与分镜拆解的具体操作假设你已经装好了Ollama和DeepSeek现在要生成一集短剧的剧本。我通常分两步走先生成故事大纲再扩写成完整剧本。这样做的好处是可控性更强如果大纲阶段发现方向不对调整起来比改完整剧本容易得多。第一步生成大纲。提示词这样写请为一个3分钟的都市悬疑短剧写一个故事大纲要求 - 主角是一个外卖员某天送餐时发现收件人已经死亡 - 包含3个反转 - 每个反转用一句话概括 - 结尾留一个未解之谜DeepSeek生成的大纲大概两三百字包含基本的故事走向和反转点。你看一遍觉得方向可以就进入第二步。第二步扩写成完整剧本。把大纲贴进新的提示词里要求生成包含场景描述、对白、镜头建议的完整剧本。这里有个技巧明确要求模型用结构化的格式输出比如每个场景用【场景X】开头下面分画面和对白两栏。这样后面用脚本解析的时候方便很多。剧本生成之后你需要把它拆解成ComfyUI能理解的分镜提示词。这个转换过程可以手动做也可以写个简单的Python脚本自动处理。手动做的话就是把每个场景的“画面”描述提取出来翻译成英文大部分图像模型对英文提示词响应更好再加上风格关键词。比如“咖啡店内部暖色调灯光女主站在柜台后面”转换成interior of a cozy coffee shop, warm lighting, a young woman standing behind the counter, cinematic composition, soft focus background, film grain我一般会准备一个风格模板把画质、光线、构图这些通用关键词固定下来只替换场景描述部分。这样能保证整集短剧的画面风格统一。3.2 ComfyUI工作流搭建与批量出图ComfyUI的工作流搭建是整条链路里最需要耐心的部分。我建议从社区找一个成熟的短剧工作流作为起点然后根据自己的需求修改。一个典型的短剧工作流包含这些节点Checkpoint加载器加载主模型CLIP文本编码器把提示词转换成模型能理解的向量KSampler采样器根据提示词和模型生成图像VAE解码器把潜空间数据转换成像素图像图像保存节点把生成的图像存到硬盘如果是图生视频的工作流还会多出视频模型加载、帧插值、视频编码这些节点。视频生成目前比较吃显存我建议先用512x512或768x768的分辨率出图再用放大模型提升分辨率这样比直接生成高分辨率视频要省资源。批量出图的关键是队列管理。ComfyUI支持一次提交多个提示词它会按顺序生成。你可以把一集短剧的所有分镜提示词整理成一个文本文件每行一个然后用脚本批量提交。我写过一个简单的Python脚本读取提示词文件通过ComfyUI的API逐个提交任务生成完一张自动提交下一张。这样你晚上睡觉前启动第二天早上就能看到一整集的画面素材。提示ComfyUI的API默认监听127.0.0.1:8188你可以用Python的requests库发送POST请求来提交任务。具体的API格式可以在ComfyUI的设置里开启开发者模式后查看。我建议先用界面手动跑通一个工作流然后用“导出API格式”功能拿到JSON再基于这个JSON写脚本。出图过程中有几个参数需要特别注意。采样步数一般设20-30步太低画面粗糙太高收益递减。CFG值控制在7-9之间太高颜色会过饱和太低画面会发灰。随机种子如果固定同样的提示词会生成同样的图方便复现如果设为-1每次都会随机。做短剧的时候同一个角色的不同镜头需要保持一致性这时候可以用固定的种子加上角色LoRA来实现。3.3 视频片段生成与FFmpeg合成画面生成之后下一步是把静态图转成动态视频。目前ComfyUI里有几种方案一种是直接用视频生成模型比如基于SVD或类似架构的节点另一种是用帧插值加轻微运镜把静态图做出动态效果。前者效果更好但更吃资源后者速度快但动作幅度有限。我自己的做法是混合使用关键镜头用视频模型生成过渡镜头用静态图加运镜。运镜效果可以用FFmpeg的zoompan滤镜实现比如缓慢推近或拉远给静态画面增加一点动感。命令大概是这样ffmpeg -loop 1 -i input.png -vf zoompanzmin(zoom0.001,1.5):d125:s1920x1080 -t 5 -pix_fmt yuv420p output.mp4这条命令的意思是把一张静态图放大到1920x1080用5秒的时间缓慢放大到1.5倍生成一个5秒的视频片段。d125表示持续125帧按25帧每秒算就是5秒。所有视频片段生成好之后用FFmpeg拼接起来。拼接有两种方式一种是直接用concat协议把文件名列表写进一个文本文件然后ffmpeg -f concat -safe 0 -i filelist.txt -c copy output.mp4另一种是先统一转码再拼接适合片段格式不一致的情况。我一般用第一种速度快且不损失画质。音频合成方面如果你用本地TTS工具生成了对白配音可以用FFmpeg把音频和视频合并ffmpeg -i video.mp4 -i audio.wav -c:v copy -c:a aac -shortest final.mp4字幕的话可以生成SRT格式的字幕文件然后用FFmpeg烧录进视频ffmpeg -i input.mp4 -vf subtitlessubtitle.srt output.mp43.4 用OpenClaw串联全流程的配置方法当你把每个环节都单独跑通之后就可以用OpenClaw把它们串起来了。OpenClaw的配置文件通常是一个YAML或JSON文件里面定义了一系列步骤每个步骤指定要执行的命令或调用的API。一个简化的配置大概长这样steps: - name: generate_script type: ollama model: deepseek-r1:14b prompt_file: prompts/script_template.txt output: output/script.txt - name: split_scenes type: python script: scripts/split_scenes.py input: output/script.txt output: output/scenes.json - name: generate_images type: comfyui workflow: workflows/short_drama.json input: output/scenes.json output: output/images/ - name: generate_videos type: comfyui workflow: workflows/img2video.json input: output/images/ output: output/videos/ - name: compose_final type: ffmpeg script: scripts/compose.sh input: output/videos/ output: output/final.mp4这个配置定义了五个步骤每个步骤的输出作为下一个步骤的输入。OpenClaw会按顺序执行中间任何一步出错都会停下来并报错。你可以设置出错时是否重试、是否跳过、是否发送通知。实际使用的时候我建议加一个“人工审核”环节。比如剧本生成之后先让你看一眼确认没问题再继续后面的步骤。全自动虽然爽但AI生成的内容质量不稳定有时候剧本逻辑不通后面生成的画面再精美也救不回来。OpenClaw支持在步骤之间插入等待确认的指令具体用法可以查它的文档。4. 实操中踩过的坑与排查技巧4.1 环境配置阶段的典型报错与解决Ollama模型拉取失败是最常见的问题。如果你在国内网络环境下拉取模型可能会超时。解决办法是配置镜像源或者手动下载模型文件放到Ollama的模型目录里。手动放置的时候注意目录结构Ollama对文件命名有特定要求放错了识别不出来。ComfyUI启动报错缺少DLL通常是Visual C运行库没装全。去微软官网下载最新的VC运行库安装包装完重启电脑一般就能解决。如果还不行检查一下你的显卡驱动是不是太旧ComfyUI对驱动版本有最低要求。FFmpeg命令执行报错“Unknown encoder”说明你下载的FFmpeg版本不包含某个编码器。比如你要用h264_nvenc做硬件加速编码但下载的是不带NVIDIA支持的版本就会报这个错。解决办法是去FFmpeg官网找带NVIDIA支持的编译版本或者自己编译。Linux下安装NVIDIA版本FFmpeg可以用包管理器加特定源具体命令因发行版而异。OpenClaw报“could not safely verify the wsl2 environment”这个问题我遇到过两次。第一次是WSL2内核版本太旧更新内核后解决。第二次是Windows的虚拟机平台功能没启用在“启用或关闭Windows功能”里勾选“虚拟机平台”和“适用于Linux的Windows子系统”重启后解决。4.2 生成质量不稳定的调优思路AI短剧最让人头疼的就是角色一致性。同一个角色在不同镜头里长得不一样观众一眼就能看出来。解决这个问题有几个思路一是用角色LoRA训练一个专门针对这个角色的微调模型生成的时候加载这个LoRA能大幅提升一致性二是用IP-Adapter或类似技术把参考图作为条件输入让模型参考这个角色的特征三是固定种子加详细描述把角色的外貌特征写死在提示词里每次生成都用同样的种子。画面风格不统一是另一个常见问题。一集短剧里有的镜头写实、有的镜头动漫风看起来很割裂。解决办法是固定主模型和风格提示词所有镜头都用同一套配置。如果某个镜头需要特殊风格单独处理不要混在一起批量生成。视频片段之间衔接生硬这个问题在转场处特别明显。我的经验是在剧本阶段就设计好转场方式比如用“淡入淡出”或“黑场过渡”然后在FFmpeg合成的时候加上对应的转场滤镜。不要指望AI生成的视频片段能自然衔接那需要非常精确的控制目前还很难做到。4.3 性能瓶颈的识别与优化跑整条链路的时候你会明显感觉到有些环节特别慢。我总结了一个性能瓶颈速查表现象可能瓶颈优化方向剧本生成慢模型太大/显存不足换小模型或用量化版本出图慢采样步数太高/分辨率太高降低步数先出小图再放大视频生成慢视频模型太大/帧数太多减少帧数用帧插值补合成慢编码器未硬件加速启用NVENC或类似硬件编码整体卡顿内存不足关闭其他程序增加虚拟内存硬件加速这块重点说一下。FFmpeg用CPU编码和用GPU编码的速度差距可能有五到十倍。如果你有NVIDIA显卡在FFmpeg命令里加上-c:v h264_nvenc就能启用硬件编码。前提是你的FFmpeg版本支持NVENC可以用ffmpeg -encoders | grep nvenc检查。ComfyUI这边确保你的PyTorch是CUDA版本而不是CPU版本。可以在ComfyUI的启动日志里看到它用的是CUDA还是CPU。如果是CPU说明PyTorch装错了需要卸载重装CUDA版本。4.4 常见问题速查与独家避坑建议问题一生成的剧本太长一集根本拍不完。解决办法是在提示词里明确限制字数或场景数比如“请写一集3分钟的短剧不超过5个场景总字数控制在800字以内”。DeepSeek有时候会写嗨了你不限制它就给你写一部长篇。问题二ComfyUI生成的人物手指畸形。这是图像模型的通病目前没有完美解决方案。我的做法是在提示词里加“perfect hands”之类的正向词同时在负面提示词里加“bad hands, extra fingers”。如果还是不行就调整构图让手部不出现在画面里或者用手部修复节点后期处理。问题三FFmpeg合成的时候音画不同步。通常是音频采样率和视频帧率不匹配导致的。在合成命令里加上-ar 44100和-r 25强制统一采样率和帧率一般能解决。问题四OpenClaw自动化流程跑到一半卡住。先检查是不是某个环节在等待输入。比如ComfyUI的某个节点需要手动确认自动化流程就会卡在那里。解决办法是在工作流里把所有需要交互的节点都改成自动模式或者在OpenClaw配置里设置超时时间超时后自动跳过。问题五生成的视频文件太大上传平台受限。用FFmpeg压缩调整码率和分辨率。比如ffmpeg -i input.mp4 -c:v libx264 -crf 23 -preset medium -c:a aac -b:a 128k output.mp4-crf 23是质量参数数值越大压缩越狠一般18-28之间比较合适。-preset medium是编码速度越慢压缩率越高但耗时越长。独家建议整个流程里最值得花时间优化的是提示词模板。我前后改了十几版剧本提示词和画面提示词每改一次生成质量就提升一截。建议你建一个专门的文件夹存放各种模板按短剧类型分类用的时候直接调用。这个积累过程是别人抄不走的也是你做出差异化内容的核心竞争力。另外定期备份你的工作流文件和模型配置。ComfyUI的插件更新有时候会破坏旧工作流的兼容性我就遇到过更新之后某个节点报错回滚才解决。把稳定的工作流导出成JSON存好出问题的时候能快速恢复。