人工智能大模型基础模型Embedding多模态RAG【免费下载链接】Nemotron-3.5-Embed-8B-BF16项目地址https://ai.gitcode.com/hf_mirrors/nvidia/Nemotron-3.5-Embed-8B-BF16点击查看免费下载Nemotron-3.5-Embed-8B-BF16 是 NVIDIA 推出的多模态检索向量Embedding模型支持文本与文档图像输入。它表现出色的关键之一就藏在query:与passage:这两个简短前缀以及 Chat Template 如何将它们精准注入模型输入的机制里。本文面向新手带你快速看懂这套检索提示机制避开最常见的使用陷阱。 模型速览它是什么Nemotron-3.5-Embed-8B-BF16是一个基于 Transformer 的多模态双编码器bi-encoder检索模型参数规模 8.38B主要信息可在 README.md 中查到项目说明输入查询query仅限文本文档passage可为文本、图像或图文组合输出4096 维 L2 归一化向量支持从尾部截断为 1024/512 维语言文本检索覆盖 34 种语言图像检索覆盖 18 种语言上下文最长 32,768 tokens典型场景语义搜索、多模态检索、RAG 问答向量生成流水线由 modules.json 定义Transformer → Pooling → Normalize即先编码、再做 mean pooling见 1_Pooling/config.json最后 L2 归一化这样余弦相似度就等于向量点积。 为什么必须有 query: 和 passage: 前缀双编码器模型在训练时查询和文档是用不同的前缀分别学习编码的。模型需要知道眼前这段文字是一个问题还是一篇待检索的文档两者在语义空间里的表示方式并不相同。官方在前置提示配置 config_sentence_transformers.json 中明确写死了这两个前缀prompts: { query: query: , document: passage: }对应关系一目了然输入类型前缀说明用户查询query:仅文本如query: What is NVIDIA NeMo Framework?文档/段落passage:文本、图像或图文组合如果漏掉前缀直接编码向量会偏离训练时的分布相似度排序的质量可能明显下降——这是新手使用检索向量模型时最容易踩的坑之一。 Chat Template 检索提示机制逐段拆解真正让前缀注入到模型输入的是仓库中的 chat_template.jinja。它名为nemo-mistral-retrieval-v1chat_template.jinja由 Mistral Ministral-3 的对话模板改造而来但专为检索场景做了三处关键设计第 1 步system 消息 检索前缀对话模板把system消息的内容当作检索前缀使用chat_template.jinja。模板会去掉前缀尾部多余空格再补一个空格保证最终输出严格是query:或passage:——无论你是否多打了空格渲染结果都一致。调用方只需要构造两条消息messages [ {role: system, content: query:}, # 文档则写 passage: {role: user, content: What is NVIDIA NeMo Framework?}, ] inputs processor.apply_chat_template(messages, tokenizeTrue)第 2 步user 消息 查询或文档正文user消息承载真正要编码的内容渲染时有一个巧妙的安全转义mark_user_text宏chat_template.jinja会在用户文本中的[和后面插入一个零宽字符。这样即使文档正文里恰好出现[IMG]、[INST]这类标记也不会被模型误认为特殊结构属于防注入的细心思。第 3 步图像统一替换为 [IMG] 占位符对于图文输入模板会先把所有图像块规范化为[IMG]占位符图像统一排在文本之前再由处理器替换为真实视觉 token。图像相关的特殊 token[IMG]、[IMG_BREAK]、[IMG_END]定义在 tokenizer_config.json 中图像处理器配置见 processor_config.json默认最长边 1,120 像素。附加严格的格式校验模板只接受「一条 user 消息 可选的前置 system 前缀」这一种结构其他形式会直接抛出异常chat_template.jinjaRetrieval inputs require one user message with an optional leading system prefix这个校验能帮你在调用阶段就发现消息结构写错的问题而不是得到莫名其妙的低分结果。还有一个容易被忽视的细节与普通对话模型不同这个模板刻意省略了[INST]/[/INST]等生成式对话包装和 BOS/EOS 特殊 tokenchat_template.jinja 的注释说明了这一点目的是让推理时的 token 序列与训练时逐 token 完全一致。这也是 vLLM 示例中要设置add_special_tokensFalse的原因。️ 三种主流用法的差异对比同一套前缀机制在三种运行框架中的暴露方式不同框架前缀如何生效要点Transformers手动构造消息system写query:/passage:调用processor.apply_chat_template需要自己保证消息结构Sentence Transformersmodel.encode_query()/model.encode_document()自动注入前缀前缀来自 config_sentence_transformers.json最省心vLLM请求体里的input_type字段取query或document服务端自动套用前缀建议配合truncateEND处理超长输入Sentence Transformers 的两行调用最能体现前缀自动化query_embedding model.encode_query([query]) # 自动加 query: doc_embeddings model.encode_document([documents]) # 自动加 passage: 1_Pooling/config.json 中include_prompt: true表示池化时会把前缀 token 一并纳入这正是前缀影响最终向量的原因。⚠️ 新手常见坑3 个自查问题相似度整体偏低先检查查询和文档是否分别使用了query:与passage:前缀两边前缀不能互换。结果不如预期确认没有绕过 Chat Template 直接拼接字符串模板的转义与规范化去多余空格、零宽字符插入都是对齐训练数据的一部分。图文输入报错或超长图像 token 也计入 32,768 的上下文上限图像过大时调低分辨率即可官方完整示例与示例输出相关文档相似度约 0.58无关文档约 0.25见 README.md。 相关核心文件一览文件作用chat_template.jinja检索版 Chat Template前缀注入与格式校验的核心config_sentence_transformers.jsonquery:/passage:前缀定义1_Pooling/config.jsonmean pooling 与include_prompt配置modules.jsonTransformer → Pooling → Normalize 流水线processor_config.json图像处理器与[IMG]相关 token 配置tokenizer_config.json词表与特殊 token 定义 小结Nemotron-3.5-Embed-8B-BF16 的检索提示机制可以浓缩成三句话查询加query:前缀文档加passage:前缀前缀由 Chat Template 统一注入并做 token 级对齐不同框架下只需按各自方式声明输入类型即可。理解这套机制后无论是搭建语义搜索还是多模态 RAG你都能把模型的使用方式保持在它最熟悉的训练分布之内从而拿到稳定的检索效果。赞分享人工智能大模型基础模型Embedding多模态RAG【免费下载链接】Nemotron-3.5-Embed-8B-BF16项目地址https://ai.gitcode.com/hf_mirrors/nvidia/Nemotron-3.5-Embed-8B-BF16点击查看免费下载相关推荐三行代码开始嵌入检索Nemotron-3.5-Embed-8B-BF16 Sentence Transformers实战指南三行代码开始嵌入检索Nemotron 3.5 Embed 8B BF16 Sentence Transformers实战指南 Nemotron 3.5 Emb人工智能大模型基础模型Embedding多模态RAGFlash Attention 2加速多模态向量化Nemotron-3.5-Embed-8B-BF16 Transformers逐行教程Flash Attention 2加速多模态向量化Nemotron 3.5 Embed 8B BF16 Transformers逐行教程 Nemotron 3人工智能大模型基础模型Embedding多模态RAG高性能批量生成嵌入向量Nemotron-3.5-Embed-8B-BF16的vLLM离线推理实战高性能批量生成嵌入向量Nemotron 3.5 Embed 8B BF16的vLLM离线推理实战 Nemotron 3.5 Embed 8B BF16 是 N人工智能大模型基础模型Embedding多模态RAG上一篇Apache DataFusion持续集成配置GitHub Actions最佳实践下一篇告别访问限制rutracker-proxy自动切换代理功能深度解析创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考