Pipecat 实时语音助手指南3 步搭出会说话的多模态 AI【免费下载链接】pipecatOpen Source framework for voice agents, multimodal apps, and realtime AI. Maintained by Daily and the community.项目地址: https://gitcode.com/GitHub_Trending/pi/pipecat想让 AI 在浏览器里和你实时对话听懂你说的话再用声音回答。传统做法要自己对接语音识别、大模型、语音合成中断逻辑很容易把人绕晕。Pipecat 是一个开源的实时语音与多模态 AI 框架把这些服务串成一条流水线几行代码就能跑通。 项目定位一个管住整场语音对话的流水线框架Pipecat 是什么用 Python 写的开源框架要求 Python 3.11由 Daily 和社区共同维护。它给想做出语音助手、智能客服、多模态应用的开发者用。核心思路是把音频输入、识别、模型推理、合成、播放拆成一个个处理节点processor按顺序串进一条 Pipeline流水线数据以 Frame帧为单位向前流动。你只写业务逻辑底层的事它来管。环节传统做法用 Pipecat服务接入自己找 STT/LLM/TTS 厂商 SDK逐个接回调内置数十家服务Deepgram、Cartesia、OpenAI 等换参数即可切换对话流程手写断句、上下文拼接、打断处理内置 VAD 断句VAD语音活动检测、对话记忆和打断机制多智能体多个进程之间自己搭桥通信一条 Pipeline 就是一个 agent可交接、并行分发也能跨机器部署客户端接入Web、电话、桌面各写一套信令同一套流水线接 WebRTC、WebSocket、本地音频或 Twilio 电话 工作原理一句话在管道里怎么流动一次对话的完整链路是这样的传输层Transport负责音频收发的组件把麦克风或浏览器的音频送进 PipelineSTT 节点语音转文字把音频变成文本聚合器Aggregator负责把零散数据攒成完整单元的节点配合 VAD 判断你这句话说完了把整句写入 LLMContext对话记忆LLM 流式吐出回复TTS 节点文字转语音把回复变成音频最后由传输层播放出来。每个节点只做一件事数据以帧的形式逐站向下游流动这也是示例代码好读好改的原因。上图是仓库里视觉示例的演示界面一张图片进去机器人把内容用声音讲给你听。⚡ 快速上手从克隆代码到第一句语音三步走安装、启动、验证。全程只需要仓库里的现成示例不用自己写完整项目。第一步安装与依赖准备先装好 uvPython 包与项目管理器和 Python 3.11 及以上版本然后执行git clone https://gitcode.com/GitHub_Trending/pi/pipecat # 获取仓库代码 cd pipecat # 进入项目目录 uv sync --group dev --all-extras --no-extra gstreamer --no-extra local # 安装开发依赖 cp env.example .env # 复制环境模板再填入你的密钥注意--no-extra排掉的两个附加组件依赖系统库新手先跳过最省心。验证用的 01 示例只需要填CARTESIA_API_KEY后面要跑全双工助手还要补上DEEPGRAM_API_KEY和OPENAI_API_KEY。第二步启动第一个示例uv run python getting-started/01-say-one-thing.py # 最简示例只有 TTS机器人会主动打招呼第三步验证效果浏览器打开http://localhost:7860/client/点击 Connect。听到机器人说 Hello there! 就算跑通了——这说明整条链路服务密钥、传输、合成、播放全部正常。确认无误后换uv run python getting-started/06-voice-agent.py它就是完整的语音助手能听、能答、你能随时打断它。示例的核心结构值得花一分钟读懂pipeline Pipeline( # 创建流水线数据沿它逐站流动 [ transport.input(), # 用户音频进管道 stt, # STT语音 → 文字 user_aggregator, # 攒到用户说完一句为止 llm, # LLM生成回复 tts, # TTS文字 → 语音 transport.output(), # 机器人音频出站 ] ) worker PipelineWorker(pipeline) # 把流水线包装成可运行的 worker runner WorkerRunner() # 创建运行器 await runner.add_workers(worker) # 注册 worker await runner.run() # 启动事件循环想换模型、换音色只改stt、llm、tts三个对象的参数管道结构不用动。️ 场景落地两个贴近日常的做法仓库 examples/ 目录按主题分好了几十个示例这里挑两个最有日常感的。实时翻译开口即译能做什么你说一种语言机器人立刻翻译成另一种语言并念出来适合跨语言对练或现场口译辅助。怎么用运行uv run python features/features-live-translation.py。它的关键设计只有一处——每收到一次转写就开一个新回合并且关闭打断这样机器人念翻译时你继续说下一句也不会被切断# 每次转写结果到达就开启新用户回合 start[TranscriptionUserTurnStartStrategy(enable_interruptionsFalse)],看图说话给它一张图它用声音回答能做什么把照片发给机器人问这是什么它识别内容后用语音回答适合做图片讲解、盲文辅助这类场景。怎么用运行uv run python vision/vision-moondream.py机器人会自动载入一张猫的照片并描述。换成自己的图只需把图片字节和问题塞进管道image Image.open(image_path) # 读取本地图片 await worker.queue_frames([ # 把图片帧推入流水线 UserImageRawFrame(imageimage.tobytes(), # 图片字节 formatRGB, sizeimage.size, textDescribe this image)]) # 附带的问题机器人用声音回答️ 避坑与调优连不上服务、报认证错误示例统一从.env读密钥如CARTESIA_API_KEY、DEEPGRAM_API_KEY。先确认cp env.example .env执行过、对应服务的密钥已填且没多空格再排查网络问题。没声音或端口被占网页界面默认监听 7860 端口被占用时用--port换端口启动。走 WebRTC 没声音先检查浏览器麦克风权限如果不想开浏览器、直接用本机麦克风改跑getting-started/06a-voice-agent-local.py它用的LocalAudioTransport需要先安装系统依赖 portaudio。断句生硬、打断不及时用户回合默认由 VAD示例里是SileroVADAnalyzer判断边界回合策略通过user_turn_strategies调整上面的翻译示例就是关掉打断的典型。想调延迟和打断手感直接看 examples/turn-management/ 里现成的回合管理示例改完再套回自己的管道。 资源索引入门示例从单句 TTS 到完整语音助手全部示例目录结构化对话示例Pipecat Flows不同语音服务商的完整管道回合与打断管理示例API 文档构建源码环境变量模板所有服务密钥清单社区集成指南写在最后Pipecat 把语音助手里最脏活的部分——服务对接、断句、上下文、打断、传输——都收进了管道你要做的只是排节点、写业务。跑通 01 示例只是开始真正值钱的是把管道换成你自己的逻辑。运行06-voice-agent.py把系统提示词改成你要的角色打开 examples/flows/ 体验带流程控制的多轮对话给示例加上-t daily参数把助手放进真正的 WebRTC 房间挑一个顺手的先动手 【免费下载链接】pipecatOpen Source framework for voice agents, multimodal apps, and realtime AI. Maintained by Daily and the community.项目地址: https://gitcode.com/GitHub_Trending/pi/pipecat创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考