【免费下载链接】voxtral.cPure C inference of Mistral Voxtral Realtime 4B speech to text model项目地址https://gitcode.com/gh_mirrors/vo/voxtral.c点击查看免费下载voxtral.c 是一个纯 C 实现的语音转文本Speech-to-Text推理引擎运行 Mistral Voxtral Realtime 4B 流式语音识别模型零外部依赖。在 Apple Silicon 上它通过Metal GPU 后端 解码器融合内核持续优化把转写速度提升到约 2.5 倍实时RTF ≈ 0.4。这篇文章完整复盘它的 GPU 内核优化历程与提速数据帮新手理解算子融合如何一步步榨干 GPU 性能。模型结构与解码瓶颈 Voxtral Realtime 4B 是一条完整管线WAV → Mel 频谱 → 32 层音频编码器 → Adapter → 26 层 LLM 解码器 → 文本 token架构细节见 MODEL.md。解码器是性能瓶颈所在它有两个不友好的特点M1 的矩阵运算解码器逐 token 生成每一步里attn woᵀ、x w1ᵀ等本质上都是一行向量 × 大矩阵。对通用矩阵乘库MPS matmul来说M1 时启动开销和中间缓冲区读写占比极高dispatch 数量爆炸每一层原本要跑 QKV 投影、RoPE、KV 写入、attention、输出投影 残差、FFN 等十几次独立内核启动26 层乘下来单次 token 生成的 CPU 提交与显存往返开销不可忽视。这正是融合内核要解决的问题把多个小算子合并成一个自定义 Metal compute kernel减少缓冲区往返和内核启动次数。融合内核如何工作从 N 次 dispatch 到 1 次所有自定义 GPU 内核都集中在 voxtral_shaders.metal调度逻辑在 voxtral_metal.m。核心思路有三点权重直接以 f16 读自 GPU 显存——模型加载时一次性把 BF16 权重转成 F16 并缓存见 voxtral_metal.m 的 F16 Weight Cache融合内核不再经过中间 FP32 缓冲区残差就地累加——投影类融合内核直接把结果加到跨层共享的持久x缓冲区上省掉独立的 add dispatch整个 26 层解码在单个 Metal command buffer 里完成——见 vox_metal_decoder_full_step每生成一个 token 只提交一次 GPU 工作。单 token attention 内核最大的单项提速这是第一个重大胜利。原来的 attention 路径每步 KV 都要跨 SIMD 屏障同步重写的 decoder_attention 内核改为每个注意力头一个 32 线程组恰好一个 SIMD 组每 lane 负责 4 个维度配合在线 softmaxonline softmax单趟扫描 KV 缓存每 lane 用寄存器持有 4 维 Q 分量点积一次simd_sum就完成KV 循环内没有任何跨 SIMD 屏障支持 GQA32 头 / 8 KV 头自动映射KV 缓存可存 fp16。A/B 结果M3 Max20 文件语料加权步时32.69 → 26.43 ms/step快约 19%长片段从 ~40 降到 29.8 ms/step整体 RTF0.4906 → 0.3998快约 18.5%。FFN 与投影的三个融合内核SwiGLU FFN 和输出投影原本是MPS matmul 后续逐元素 dispatch的组合现在各用一个 M1 专用内核替代融合内核一个内核内完成的计算替代掉的操作decoder_ffn_gatesilu(x·w1)·(x·w3)9216 维各一个线程组每层 1 次大 matmul 1 次 silu/mul dispatchdecoder_w2_residualx[d] gate·w2[d]每层 1 次 matmul 1 次 add dispatchdecoder_wo_residualx[d] attn·wo[d]每层 1 次 matmul 1 次 add dispatch三个内核内部都用 256 线程做分块点积再通过simd_sum 线程组共享内存归约出最终标量。每层因此少 2~3 次内核启动26 层累积效果可观。向量化与 fp16 KV 缓存float4/half4 向量化把融合内核内层的标量点积循环改写为 4 分量 chunkvoxtral_shaders.metal降低循环控制开销并提升访存效率再提速约 1%fp16 KV 缓存默认开启VOX_DECODER_KV_FP161fp32 可回退attention 每步要扫描整个 KV 缓存缓存体积减半直接省带宽长片段步时再快约 4%分配与压缩逻辑见 voxtral_decoder.c。提速历程每轮 A/B 测试的数据 完整记录在 SPEED.md。以 M3 Max40 核 GPU为基准各次优化的加权解码步时与整体 RTF优化项加权步时 (ms/step)整体 RTF单项收益优化前基线32.690.4906—单 token attention 重写26.430.3998-19.1%Packed QKV去掉 deinterleave 拷贝26.280.3956RTF -14.0%FFN gate 融合内核25.530.3847-2.0%W2残差融合内核mini 套件24.180.5427-3.0%WO残差融合内核mini 套件23.780.5370-1.4%float4 向量化融合内核mini 套件23.660.5370-1.0%两点经验值得新手注意先攻大头attention 单点重写贡献了绝大部分收益之后每个 1~3% 的小融合才陆续做双套件 A/B 验证日常迭代用 3 条代表性音频的 mini 套件1~2 分钟跑完benchmark.py只有确认的获胜项才上 20 文件全语料复核并严格执行先存日志再解析的流程。快速上手构建、运行与复现基准测试make mps # Apple SiliconMetal GPU 后端最快 ./download_model.sh # 下载约 8.9GB 模型权重 ./voxtral -d voxtral-model -i samples/test_speech.wav # 流式输出转写结果 ./voxtral -d voxtral-model --from-mic # 麦克风实时转写macOS ./benchmark.py -n 2 # 跑 mini 基准套件构建目标说明见 Makefile使用指南见 README.md。项目设定了明确的退出标准20 文件语料 RTF ≤ 0.40、长片段解码步时 ≤ 30 ms/step、转写质量无回退——目前均已达成。下一步优化方向SPEED.md 中仍规划了两个方向合并相邻小内核、复用 compute encoder 降低 command-encoder 开销预期 3~8%以及 RoPE-K KV 写入路径的进一步融合预期 1~4%。随着模型推理引擎在端侧设备上的普及这类逐算子抠细节的融合优化仍是纯 C 推理项目逼近硬件极限的核心手段。赞分享【免费下载链接】voxtral.cPure C inference of Mistral Voxtral Realtime 4B speech to text model项目地址https://gitcode.com/gh_mirrors/vo/voxtral.c点击查看免费下载相关推荐GPU内核融合可视化AITemplate优化决策过程解析GPU内核融合可视化AITemplate优化决策过程解析 在深度学习推理性能优化的终极指南中AITemplate作为GPU高性能推理的完整框架通过内核融合推理引擎模型编译算子库DeepSpeed Inference 内核优化深度解析多 GPU 自适应并行、算子融合推理内核与 MoQ 量化支持DeepSpeed Inference 内核优化深度解析多 GPU 自适应并行、算子融合推理内核与 MoQ 量化支持 本篇技术解读围绕 DeepSpeed 官人工智能大模型深度学习分布式训练预训练强化学习模型优化ik_llama.cpp 在 Metal 后端的 Bitnet 性能优化从 dequantize 内核看 IQ1_BN / IQ2_BN 的提速之道ik_llama.cpp 在 Metal 后端的 Bitnet 性能优化从 dequantize 内核看 IQ1_BN / IQ2_BN 的提速之道 本文基于人工智能大模型推理引擎本地部署模型量化创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考