简介面向希望高效产出短视频的创作者、运营人员与AI应用开发者这份AI全自动短视频创作引擎只需输入主题即可一键生成完整视频自动完成文案脚本、配图、AI动态视频、语音与背景音乐合成支持GPT、通义千问、DeepSeek、Ollama等大模型并提供多种视觉模板及竖屏、横屏尺寸适合批量制作科普、解说、故事类短视频。压缩包共284个文件以Python源代码、Markdown说明、JPG/PNG图片素材、HTML页面和JSON配置为主另有YAML部署文件、BAT启动脚本和Dockerfile整体仅8.4MB便于快速部署与二次开发。目前已有453人学习下载可作为入门与进阶的完整参考。除源码外还附带多个视觉风格模板、预置工作流和安装部署文档能直观看到从主题到成片的完整链路基于ComfyUI架构可替换FLUX生图模型、ChatTTS等原子能力快速打造适合科普、解说、故事等场景的自动化视频生产线。1. AI 全自动短视频创作引擎它不是剪辑软件是一条生成流水线一开始我也以为这类“AI 全自动短视频创作引擎”的源码包只是一个封装好的剪辑工具跑起来才发现完全不是那么回事。Pixelle-Video 这套源码把传统视频生产的整条链路全部换成了生成式 AI 组件文案由语言模型生成配音走语音合成画面靠视频生成模型产出最后用 ffmpeg 一次性缝合导出。也就是说你给它一个主题词它自己完成脚本、配音、画面、合成四个环节直接产出一条带声音的成片。对做批量内容生产的团队、想研究 AI Agent 工作流的开发者或者不想被云端算力绑死、想本地部署的人这套源码确实值得拆一遍。2. 拆解 Pixelle-Video 的架构文案、配音、画面、合成的四段式管线2.1 四段式管线从主题词到成片Pixelle-Video 的核心不是“一个模型生成视频”而是一条四次调用模型的流水线。我把它拆成四个环节文案生成接收输入的主题词通过大语言模型生成短视频脚本脚本里包含旁白文本、每个镜头的画面描述、镜头时长。这一步的输出是一份结构化 JSON不是纯文本。配音合成把脚本中的旁白文本交给 TTS 模块生成与镜头时长匹配的音频文件。这里有个关键点TTS 的输出时长会直接影响后面画面的分配所以脚本里每一段旁白都带一个duration字段。画面生成每个镜头的画面描述会进入 Pixelle 的视频生成接口生成对应时长的视频片段。这个环节最吃 GPU 资源也是整个引擎里最需要调参的地方。剪辑合成把生成的视频片段按脚本顺序拼接再把配音音频叠加进去最后用 ffmpeg 输出为 MP4。整个链路是单向的前一个模块的输出就是后一个模块的输入。我第一遍看源码时以为会有复杂的调度逻辑实际上就是一个Pipeline类顺序调用四个模块简化了排查问题的难度。2.2 为什么选四段式而不是端到端文生视频市面上的端到端文生视频模型你给它一句提示词它确实能吐出一段视频但在“批量生产短视频”这个场景下有两个致命问题一是不可控你没法指定画面里有几个人、每个镜头持续几秒、旁白和画面严格对齐二是成本高一段 10 秒的视频要反复生成十几次才能挑出能用的算力和时间都浪费了。Pixelle-Video 的四段式方案把“不可控”变成“分段可控”文案结构你可以预先限定配音时长决定了镜头长度画面生成只负责“单个镜头”这一小段最后合成时由 ffmpeg 统一处理。这种方式牺牲了一点画面连贯性但换来了可批量、可替换、可定位问题的能力。我实际测试下来文案和画面不匹配的概率比端到端方案低很多因为每个镜头的画面描述是明确的而不是整段视频一个长提示词。2.3 数据契约每个模块的输出格式必须对齐拆这套源码时我最深的感受是Pipeline 能跑通靠的不是模型多强而是模块之间的数据契约定得清楚。我整理了一张表直接说明每个环节的输入输出模块输入输出关键依赖文案生成主题词、脚本模板script.json旁白、镜头描述、时长大语言模型 API 或本地模型配音合成script.json的旁白字段audio/*.wav每镜头一个TTS 引擎、ffmpeg 音频处理画面生成script.json的镜头描述字段frames/*.mp4每镜头一个Pixelle 视频生成模型、GPU剪辑合成上述全部产物最终output.mp4ffmpeg注意看每个模块的输入都包含“上一模块输出的结构化数据”而不是重新解析文本。这意味着你只要保证script.json的字段完整四个模块可以独立替换。比如你把 TTS 引擎换成别的只要输出还是每镜头一个 wav 文件后面两个模块动都不用动。3. 源码部署从 Python 环境到 GPU 推理的完整落地方案3.1 环境准备Python 版本、GPU 显存与系统依赖我先说结论这套源码对硬件是有底线要求的。官方文档里写的是 Python 3.10 以上但我的实际经验是 3.10 最稳3.11 也能跑3.12 在部分依赖编译时会翻车。GPU 方面画面生成模块最低需要 8GB 显存低于这个数会在生成第 2 个镜头时就报 CUDA out of memory。我自己的机器是 RTX 4060 8GB跑 720p 分辨率勉强1080p 必炸所以 12GB 显存是推荐值。系统依赖有三个东西必须提前装好git、ffmpeg、CUDA 工具包。ffmpeg 不是 Python 包pip 装的那个ffmpeg-python只是个封装底层还是要系统里有 ffmpeg 可执行文件。另外如果你用的是 NVIDIA 显卡驱动版本要注意CUDA 11.8 对应驱动 520 以上太老的驱动会导致torch.cuda.is_available()返回 False。3.2 安装源码包克隆、建虚拟环境、装依赖拿到源码包之后我建议按下面这个顺序来每一步都验证通过再走下一步# 1. 克隆源码到本地 git clone https://github.com/your-source/Pixelle-Video.git cd Pixelle-Video # 2. 创建 Python 虚拟环境务必用 python3.10 python3.10 -m venv venv source venv/bin/activate # 3. 安装核心依赖 pip install -r requirements.txt # 4. 如果你的显卡是 NVIDIA单独装 CUDA 版 torch pip install torch torchvision --index-url https://download.pytorch.org/whl/cu118 # 5. 验证 torch 是否能调用 GPU python -c import torch; print(torch.cuda.is_available())第 4 步是我踩坑之后加进去的。requirements.txt里的 torch 是 CPU 版如果直接装完就跑去生成视频画面生成模块会慢到怀疑人生而且部分算子直接报not implemented。单独装 CUDA 版 torch 是这套源码部署最容易漏的一步也是决定生成速度的关键。3.3 模型权重下载与目录结构说明克隆下来的源码不带模型权重需要单独下载。常见的做法是源码里有一个download_weights.sh脚本或者 README 里给了网盘链接。权重文件一般有 1GB 以上分两个部分TTS 语音模型和 Pixelle 视频生成模型。下载后按照说明放到指定目录通常是这样的结构Pixelle-Video/ ├── weights/ │ ├── tts/ # TTS 语音模型权重 │ └── pixelle/ # Pixelle 视频生成权重 ├── input/ # 主题词或批量任务清单 ├── output/ # 最终成片输出目录 ├── cache/ │ ├── audio/ # 配音中间产物 │ └── frames/ # 视频片段中间产物 └── config.yaml # 全局配置文件这里有个顺序问题必须先下载权重再改配置因为第一次运行时系统会检查权重文件是否存在不存在会直接抛异常而不是自动下载。我一开始没注意把配置改好了才启动结果报RuntimeError: weights not found还得回头补下权重。3.4 安装验证跑通最小合成示例不用急着生成完整视频先跑一个最小示例来验证依赖是否完整。源码里一般会带一个test_pipeline.pypython test_pipeline.py --topic 一只猫在窗台上晒太阳 --frames 2这个命令会生成 2 个镜头、约 6 秒的短视频。如果这能跑通说明整个链路是通的。我第一次跑的时候在画面生成阶段卡了十分钟没反应后来发现是权重目录路径写错了系统一直在尝试从网络下载。修改config.yaml里的weights_dir为绝对路径后就好了。这里有个容易忽略的点--frames 2表示只要 2 个镜头不是 2 秒。每个镜头的默认时长由脚本里的duration字段决定一般是 3 到 5 秒所以 2 个镜头就是 6 到 10 秒的成片。4. 第一个成片配置文件、命令行参数与素材库选型4.1 config.yaml 的核心参数与调优逻辑这套源码的配置集中在config.yaml里不用改 Python 代码就能控制整个生成流程。我拆解一下最常用的几个参数pipeline: script_model: gpt-4o-mini # 文案生成模型 tts_engine: edge-tts # 配音引擎 video_model: pixelle-1.0 # 画面生成模型 resolution: [720, 1280] # 输出分辨率 宽x高 fps: 24 # 帧率 max_frames: 8 # 单视频最大镜头数 aspect_ratio: 9:16 # 竖屏/横屏 audio: sample_rate: 44100 voice: zh-CN-XiaoxiaoNeural # 中文女声 video: frames_per_clip: 48 # 每个镜头的帧数fps*时长 motion_strength: 0.6 # 画面动态强度 0-1 seed: 42 # 随机种子固定以便复现参数之间是联动的最典型的是resolution、fps和frames_per_clip。frames_per_clip除以fps就是每个镜头的时长比如 48 帧除以 24fps 等于 2 秒。如果你把分辨率调高但显存不够优先降frames_per_clip而不是降fps因为降低帧率会让画面变卡顿而缩短镜头时长只是让每个片段短一点。motion_strength这个参数是控制画面动态程度的值越大画面运动越明显但也会增加生成失败的概率。我一般设为 0.5 到 0.7超过 0.8 容易画面扭曲。4.2 命令行调用与素材库目录结构安装验证通过后正式的生成命令也很简单python generate.py \ --topic 城市夜景延时摄影 \ --config config.yaml \ --output output/city_night.mp4generate.py会读取配置调用文案生成模型写脚本然后逐镜头生成画面。这里要注意--topic写得太短或太模糊文案模型给出的脚本会很空泛画面描述缺乏细节生成出来的视频全是空镜头的堆砌。我一般会写成“主体 场景 光线 运动方式”的完整描述比如“城市夜景延时摄影霓虹灯下的车流高角度俯拍缓慢推进”。如果你想批量生产可以把主题词放到一个文本文件里每行一个python generate.py --batch input/topics.txt --config config.yaml源码里的input/topics.txt是默认的批量任务入口每行一个主题词生成结果会按序号输出到 output 目录。4.3 生成日志解读与中间产物检查运行过程中终端会输出每个环节的状态我贴一段典型的日志[INFO] Stage 1/4: Script generation... [INFO] Script ready: 4 shots, total duration 12s [INFO] Stage 2/4: TTS synthesis... [INFO] Audio saved: cache/audio/shot_001.wav, 3.2s [INFO] Stage 3/4: Video generation... [INFO] Frame generated: cache/frames/shot_001.mp4 [INFO] Stage 4/4: Muxing with ffmpeg... [INFO] Output saved: output/city_night.mp4每一行都有对应含义Script ready后面的4 shots表示脚本切成了 4 个镜头总时长 12 秒Audio saved里的3.2s表示第一个镜头的配音时长如果配音时长和画面时长差异超过 0.5 秒合成时会出现音画不同步Frame generated表示画面片段已生成这一步是耗时最久的。如果生成中断先去cache/audio看有哪些 wav 文件、cache/frames看有哪些 mp4 文件对比哪个镜头缺失然后重新从缺失的镜头开始生成不用全部重跑。这算是面对长视频生成时最实用的经验不是每个开源项目都能做到这种断点续跑。5. 避坑指南部署与生成阶段的五个高频翻车点5.1 CUDA out of memory报错在第三个镜头突然出现现象前两个镜头生成正常第三个镜头开始报CUDA out of memory: Tried to allocate 512 MiB进程直接退出。原因PyTorch 的显存缓存不会在每个镜头结束后完全释放多个镜头的中间产物叠加显存峰值出现在第二个镜头末尾到第三个镜头开头。这也是为什么 8GB 显存跑 720p 到第二个镜头必炸的原因。解决最有效的办法是降低frames_per_clip从 48 降到 32每个镜头的显存占用会明显下降。其次是在generate.py里找到视频生成循环在每个镜头处理后加torch.cuda.empty_cache()强制释放缓存。如果还不行只能把分辨率降到 [640, 1136]这是这套源码能接受的画质底线。5.2 中文 TTS 生成空白音频或乱码现象配音环节没有报错生成的 wav 文件是空的或者播放出来是“哔哔”的电子音。原因默认的edge-tts引擎在读取文案时如果脚本里的中文字符不是 UTF-8 编码语音合成会失败但不抛异常静默产生空白音频。Windows 系统上终端输出重定向到文件时默认用 GBK 编码最容易触发这个问题。解决检查两个位置一是config.yaml里的script.json输出编码确保是 UTF-8二是如果用了 Windows启动命令前加一句chcp 65001把终端切到 UTF-8 模式。另外建议不要在脚本文本里包含“”和“%”这类特殊字符TTS 引擎对未转义的特殊字符处理不友好。5.3 ffmpeg 合成失败muxing 阶段报Conversion failed现象所有镜头都生成完毕ffmpeg 合成时提示Error while filtering或Conversion failed但没有具体说明哪个环节出错。原因最常见的是画面片段的分辨率和配置里的resolution不一致。比如配置是 1280x720但某个镜头生成出来的实际尺寸是 1280x718因为模型在生成时对尺寸做了对齐处理导致不能直接拼接。解决在合成前对每个镜头做一次标准化强制缩放到目标分辨率并统一帧率。可以在合成命令前加一条预处理命令用ffmpeg -i shot_001.mp4 -vf scale1280:720,fps24 -c:v libx264处理所有帧片段然后再进入合成环节。处理完后再检查一遍所有片段的时长总和是否接近脚本总时长偏差超过 1 秒就要回看对应的镜头。5.4 文案过长被截断脚本生成 20 秒就断了现象主题词稍微复杂一点生成的脚本只有 2 个镜头、总时长不到 10 秒而配置的是max_frames: 8。原因文案生成模型对输出长度有限制脚本模板里的字段太多或镜头描述过长触发了模型的输出截断。系统拿到截断的 JSON 后只会解析出已完成的部分后面的镜头直接丢弃。解决在config.yaml的script_model参数里加上上下文长度限制或者修改prompt_template要求模型按固定格式输出。更直接的做法是把一个长主题拆成多个子主题分批生成后合并。我用下来的经验是单次脚本控制在 4 到 6 个镜头最稳定超过 8 个镜头输出截断的概率大幅上升。5.5 素材库目录不对生成的视频全是一个画面现象画面生成环节没有报错但所有镜头都是同一个画面镜头切换没有任何视觉变化。原因调用 Pixelle 视频生成时没有传seed参数或者seed固定只有一个值。每次调用都使用相同的随机种子模型会生成完全相同的画面。解决在generate.py的镜头生成循环里为每个镜头自动递增seed值比如seed base_seed shot_index。这样每个镜头的初始噪声不同画面才有差异。这个问题排查起来很隐蔽因为日志不会报任何错误只有看成片才能发现。6. 进阶批量生成、参数调优与成片质量自检6.1 批量生成脚本与并发控制当你要一次性生产几十条短视频时单条任务串行跑会非常耗时。常见做法是写一个批量调度脚本控制并行度import subprocess import os topics [ 城市夜景延时摄影车流灯光轨迹俯拍, 山林晨雾风景阳光穿透树冠缓慢推进, 咖啡拉花制作过程特写镜头浅景深 ] for idx, topic in enumerate(topics): cmd fpython generate.py --topic \{topic}\ --output output/video_{idx}.mp4 subprocess.run(cmd, shellTrue)这里要注意并行度不是越高越好取决于你的显存容量。8GB 显存建议一次只跑一个任务12GB 可以跑两个。显存不足时多个任务会互相争抢资源最终表现为每个任务都变慢甚至直接 OOM。6.2 调参套路先固定画面再调文案我的调试顺序是先用测试主题词跑通全流程然后调motion_strength和seed观察画面变化最后改文案模板。这样能快速定位生成结果是受文案影响还是受画面模型影响。如果你改了文案模板发现生成效果变差大概率不是模型问题而是文案里缺少镜头描述细节。6.3 成片自检清单每次批量生成完我会按固定的检查项过一遍音频是否清晰、画面是否与文案一致、转场是否生硬、帧率是否达标。这套自检清单是从一次交付事故里总结出来的。那一次我批量生成了 30 条视频交付后才发现其中 5 条存在音画不同步问题原因就是 TTS 合成时长和预期差距过大而我没有检查中间产物就直接打包了。从那以后我每次批量生成都会强制走一遍“抽查音频播放 视频抽帧对比文案”的流程几秒钟的检查能省下数小时的返工时间。希望帮到你。本文还有配套的精品资源点击获取