资讯详情

Cloudflare 开源 Clef-omni 决策模型:一次调用处理文本、图像、音频和视频

📅 2026/10/14 8:44:22 | 华诺云谱 👁 阅读
Cloudflare 开源 Clef-omni 决策模型:一次调用处理文本、图像、音频和视频
Cloudflare 在 10 月 9 日发布了一款叫Clef-omni的开源权重模型权重已经放到 Hugging Face 上。它的卖点很直白一次 API 调用就能同时处理文本、图像、音频和视频四类输入并输出结构化的判断结果。据公开信息距离它上一代 Clef / Clef-flash 发布只隔了 8 天。一开始我也没太当回事——多模态模型早就满地跑了这有什么新鲜的翻完官方博客和开发者文档才发现Clef-omni 不是普通的多模态大模型它属于一类叫**决策模型Decision Model**的东西思路和 LLM 完全不同。它不是 LLM是个打分类的模型普通大模型是你问一句它生成一段话。Clef-omni 不生成文本它接收一个state状态描述和一组带类型的 schema 问题然后给每个候选选项返回一个概率值。官方支持三种问题类型noul真假判断是 / 否choice多选一score给一个 0~1 的分数官方文档里的快速调用示例大致是这样curlhttps://api.cloudflare.com/client/v4/accounts/$CLOUDFLARE_ACCOUNT_ID/ai/run/cf/cloudflare/clef-omni\-XPOST\-HAuthorization: Bearer$CLOUDFLARE_AUTH_TOKEN\-HContent-Type: application/json\-d{ state: 检查设备安装一张设备照片、一段运行录音、一段风扇视频, images: [data:image/png;base64,base64-png], audio: [data:audio/mpeg;base64,base64-mp3], videos: [data:video/mp4;base64,base64-mp4], questions: { label_visible: {type: noul, instructions: 照片里能否看到型号和序列号标签}, sounds_normal: {type: noul, instructions: 录音里设备听起来运转正常、没有异响吗}, fan_running: {type: noul, instructions: 视频里风扇在转吗} } } 技术实现上它是一个 **30B 总参数、3B 激活参数的 MoE 模型**底座是 Qwen3-Omni-30B-A3B-Instruct。Cloudflare 的做法是保留底座的多模态理解主干砍掉文本转语音的输出部分然后冻结主干、只训练 LoRA 适配器用 label-smoothed 交叉熵加 Brier 分数校准做后训练。因为不生成 token转录、打标这些环节全被跳过音视频直接映射进统一序列一起打分。 **变了什么**过去做多模态 Agent通常要搭一条语音转文字 → 文本理解 → 判断的级联流水线每多一步就多一次调用、一份延迟和一份出错概率。Clef-omni 把这条链压成了一次调用。 **没变什么**它依然只负责做判断不会替你写代码、写文案。需要生成内容的任务它帮不上忙。## 关键数据与边界按官方公布据报道 - 上下文 **64k****Apache-2.0** 许可输入价格 **$0.15 / 百万 token** - - 延迟纯文本中位数约 **130ms**图像约 **150ms**一段21秒带声音的视频约 **1.5 秒**出结果 - - 输入限制图像最多4张PNG/JPEG/WebP音频最多4段WAV/MP3单段300秒视频最多2段MP4/WebM单段60秒按每秒2帧采样每次可提1~64 个问题 性能上它偏科很明显意图分类类任务很强CLINC150OOS 拿到 **97.7 macro-F1**是 Clef 家族四款里最高的但硬推理任务偏弱GPQA Diamond 只有47.4低于 Jev 的78.3。官方自己也承认在大多数推理和工作流评测上不如纯文本的 Clef。## 对普通开发者意味着什么如果你的场景是给一堆内容打标 / 分类 / 做判断比如垃圾评论识别、工单归类、发票字段抽取、内容审核这类决策模型值得试一试。据 Cloudflare 披露他们内部就在用它自动关闭 GitHub 垃圾 issue、给插件库做钓鱼内容审核、扫描个人身份信息。部署上除了 Workers AI 托管也能自托管——官方称单张 H200、bfloat16 下约占 64GB 显存。 几个坑要提前知道1. **别拿它当聊天模型。** 它不产出自然语言指望它写总结会失望。2.2. **按场景选型号。** 推理密集的任务乖乖用 Clef 或其他 LLM别硬上 omni。3.3. **注意模态数量和时长上限。** 图像 / 音频 / 视频都有硬限制长视频得先切。4.4. **benchmark 是厂商自己跑的**没有第三方复现落地前用自己的小样本验一遍。 决策模型能不能成为 Agent 里做路由、做判断的默认零件我觉得还得看生态跟不跟得上。你怎么看评论区聊聊。
📝

华诺云谱内容团队

资深建站顾问 · 行业研究员

10年+企业数字化服务经验,专注智能建站、SEO优化与品牌营销,持续输出建站技巧、行业洞察与营销干货,已帮助5000+企业实现数字化增长。

你可能需要的服务

订阅华诺云谱资讯周报

每周一封,精选建站技巧、SEO与营销干货,直达邮箱。已有 8,000+ 企业主订阅,助你少走弯路。

↑