VideoAgent音频处理工具链详解Whisper转写、人声分离、响度归一化与音频切片的8大底层Agent【免费下载链接】VideoAgent[EMNLP2026] VideoAgent: All-in-One Agentic Framework for Video Understanding and Editing, and Remaking项目地址: https://gitcode.com/gh_mirrors/video/VideoAgentVideoAgent 是入选 EMNLP 2026 的一体化 Agentic 视频框架支持视频理解、编辑与重塑。它的音频处理工具链由8 大底层 Agent组成把 Whisper 转写、人声分离、响度归一化、音频重采样、音频切片、BGM 混音、音轨提取与音视频合并全部封装成可自动编排的积木——你只需要用一句自然语言描述需求框架就会自动挑选并串联这些 Agent 完成任务。一、8大底层Agent速览所有音频 Agent 都位于 environment/roles/ 目录并通过 environment/config/registry.json 注册到框架中#Agent一句话功能核心依赖1AudioExtractor音轨提取从视频单个或整个目录中抽取 44.1kHz 立体声 WAV 音频FFmpeg2Transcriber语音转写批量转写目录内音频结果保存在同目录Whisper / FunASR3Separator人声分离把音乐中的演唱/人声单独分离出来Demucs4LoudnessNormalizer响度归一化统一音频响度让多段素材音量一致ffmpeg loudnorm5Resampler重采样统一音频采样率兼容下游合成模型fap6TTSSlicer音频切片按静音边界把长音频切成 6~8 秒短片段并输出时间戳librosa7MixerBGM混音把人声/BGM 叠加混音自动补齐背景音乐长度pydub8Merge音视频合并用新音轨直接替换整段视频的音频FFmpeg它们对应的源码分别是audio_extractor.py、transcriber.py、separator.py、loudness_normalizer.py、resampler.py、tts_slicer.py、mixer.py、merge.py。二、框架如何自动编排这些AgentVideoAgent 的调度核心在 environment/agents/multi.py它分为三步意图分析LLM 从你的自然语言需求中识别意图如Vocal Separation 人声分离、Audio Slice 音频切片意图→工具映射intents.yml 中预置了每种意图对应的 Agent 组合例如Audio Optimization音频优化 AudioExtractor → Separator → Resampler → LoudnessNormalizerVideo Transcription视频转写 AudioExtractor → TranscriberAdd BGM添加背景音乐 AudioExtractor → Mixer → Merge图驱动执行LLM 基于 Agent 元数据生成Agent Graph Agent Chain再经过评判 反思两轮自检最多 3 次迭代确保参数传递正确、没有冗余节点后才执行。也就是说你不需要知道 8 个 Agent 的存在只说帮我把这首歌的人声分离出来并提升音质框架就会自动组装出AudioExtractor → Separator → Resampler → LoudnessNormalizer这条工作流。三、逐个拆解每个Agent在做什么1. AudioExtractor 音轨提取——一切音频任务的入口它通过 FFmpeg 把视频抽成16-bit PCM、44.1kHz 立体声 WAVaudio_extractor.py#L52-L66支持 mp4/avi/mov/mkv 等 8 种格式既可处理单个文件也能递归扫整个目录批量提取。后续所有音频 Agent 的输入基本都来自它。2. Transcriber 语音转写——Whisper 的批量封装Transcribertranscriber.py并不重复造轮子而是调用项目内置的 tools/audio-preprocess/命令名为fapfap transcribe --model-type funasr --recursive 音频目录fap同时支持Whisper和FunASR两种 ASR 引擎transcribe.py并用多进程加速批量转写转写结果.srt/.txt 等直接落盘到音频同目录方便下游的 TTS 改写、视频问答等 Agent 读取。3. Separator 人声分离——一首歌拆出纯净人声Separatorseparator.py执行fap separate基于 Demucs 音源分离模型把整首歌拆出独立的人声音轨。它是翻唱SVC、鬼畜配音、去背景音类任务的关键一步也是Audio Optimization意图链的第一环。4. LoudnessNormalizer 响度归一化——告别忽大忽小响度归一化loudness_normalizer.py执行fap loudness-norm按 EBU R128 标准把目录下所有音频调整到统一响度。做多段拼接、配音替换时它能保证各段音量一致听感更专业。5. Resampler 重采样——统一采样率不同来源的音频采样率五花八门Resamplerresampler.py执行fap resample把音频统一重采样避免 TTS/SVC 合成模型因采样率不匹配而翻车。6. TTSSlicer 音频切片——按静音刀刀到位TTSSlicertts_slicer.py是切片环节的主角逻辑分三步静音检测用 librosa 的 RMS 能量曲线阈值 -35dB找出发言间隙切片优先在静音最安静处下刀保证每段 6~8 秒tts_slicer.py#L30-L47过长片段二次均分落盘输出0000.wav, 0001.wav ...及带 start/end 时间戳的metadata.jsontts_slicer.py#L297-L310。这是视频改写/配音工作流的核心切片 → 转写 → 按需求改写文案 → TTS 合成 → 替换回原视频。7. Mixer BGM混音——人声与背景音乐一键叠加Mixermixer.py基于 pydub 完成混音BGM 自动降 1dB 垫底若 BGM 比人声短会自动循环拼接到等长再叠加输出mixed_*.wavmixer.py#L43-L65。8. Merge 音视频合并——收尾交付Mergemerge.py不裁剪任何画面而是直接把完整视频 新音轨用 FFmpeg 重新封装libx264 AAC-shortest取较短者faststart优化在线播放merge.py#L35-L50一步生成最终成片。四、实战三条典型音频工作流场景一句话需求示例自动生成的 Agent 链 视频转写把这个播客视频转成文字AudioExtractor → Transcriber️ 音频优化分离这首歌的人声并提升音质AudioExtractor → Separator → Resampler → LoudnessNormalizer 加背景音乐给这段配音加上BGMAudioExtractor → Mixer → Merge五、快速上手git clone https://gitcode.com/gh_mirrors/video/VideoAgent conda create --name videoagent python3.10 conda activate videoagent conda install -y -c conda-forge pynini2.1.5 ffmpeg pip install -r requirements.txt在 environment/config/config.yml 中填入 LLM API Key 后运行 main.py用自然语言描述需求即可python main.py # User Requirement: 请分离这段歌曲的人声并做响度归一化更多示例与演示详见 demos_documents.md。六、写在最后VideoAgent 音频工具链的设计哲学很简单把成熟工具FFmpeg、Whisper/FunASR、Demucs、librosa封装成标准 Agent让 LLM 负责接线工程师负责造砖。8 个底层 Agent 各司其职、接口统一Pydantic 输入/输出 Schema因此既能被意图映射直接复用也能被图驱动规划自由组合。对于想学习 Agentic 工作流编排的开发者这套 environment/roles/ 目录是非常清晰的参考实现对于普通用户一句自然语言就能跑通转写、分离、归一化、切片、混音、合并的完整音频流水线。【免费下载链接】VideoAgent[EMNLP2026] VideoAgent: All-in-One Agentic Framework for Video Understanding and Editing, and Remaking项目地址: https://gitcode.com/gh_mirrors/video/VideoAgent创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考