【免费下载链接】NVIDIA-Nemotron-Labs-Teacher-Chat项目地址https://ai.gitcode.com/hf_mirrors/nvidia/NVIDIA-Nemotron-Labs-Teacher-Chat点击查看免费下载NVIDIA-Nemotron-Labs-Teacher-Chat 是 NVIDIA 面向多轮对话场景发布的 5500 亿参数“蒸馏教师”模型。本文将带你用它完成蒸馏流程中的两个核心任务——多轮对话数据生成与偏好对构建把大模型的对话能力“搬”进你自己可本地部署的小模型。即使你刚接触模型蒸馏也能照着本文一步步跑通。 一、为什么选 Teacher-Chat 做蒸馏教师这个模型并非普通 Chat 模型而是 Nemotron 3 Ultra 训练配方Multi-Teacher On-Policy Distillation简称 MOPD中 10 多个领域特化教师之一官方发布它的初衷就是供开发者**作为教师或裁判judge**用于自己的蒸馏与 RLHF 流水线。换句话说“教小模型”正是它的本职工作。模型关键信息一览项目说明总参数 / 激活参数550B / 55BLatentMoE 稀疏专家架构架构Mamba-2 MoE Attention 混合带 Multi-Token PredictionMTP加速层上下文长度最高 1M tokens默认配置 262K支持语言中、英、法、西、德、意、日、韩、印地、巴西葡语等 12 种最擅长多轮对话、语气与帮助性、开放写作、人类偏好对齐回复许可证OpenMDW-1.1允许商用与非商用它自身的训练配方就是一份“偏好数据生产指南”先对大量教师模型生成的多轮对话做best-of-n 生成式奖励模型筛选得到 SFT 数据再用RLHF精调对话质量详见 README.md 的 Training Methodology 部分。我们蒸馏自己的小模型时可以直接照搬这套思路。模型结构与超参可参考 config.json参数值含义n_routed_experts512每个 token 可路由的专家池num_experts_per_tok22实际激活的专家数稀疏路由moe_latent_size2048隐空间维度降低专家路由开销max_position_embeddings262144默认上下文上限架构实现位于 modeling_nemotron_h.py配置类定义在 configuration_nemotron_h.py。 二、一键部署教师模型硬件要求与 vLLM 快速启动硬件要求先看门槛该检查点采用 NVFP4 量化官方给出的最低部署硬件为单节点4 × B200或 GB200 / GB300 / B300或者 8 × H100模型权重分布在 225 个model-XXXXX-of-00225.safetensors分片中合计约 1TB需要高带宽网络下载。克隆镜像仓库并启动 vLLM 服务git clone https://gitcode.com/hf_mirrors/nvidia/NVIDIA-Nemotron-Labs-Teacher-Chat.git export MODEL_CKPT/path/to/NVIDIA-Nemotron-Labs-Teacher-Chat docker run -d --name nemotron-teacher \ --gpus all --ipchost --networkhost \ --shm-size16g --ulimit memlock-1 \ -v $MODEL_CKPT:/model:ro \ -e SAFETENSORS_FAST_GPU1 \ vllm/vllm-openai:v0.22.0 \ /model \ --host 0.0.0.0 --port 8000 \ --served-model-name nemotron-teacher \ --trust-remote-code \ --tensor-parallel-size 4 --enable-expert-parallel \ --kv-cache-dtype fp8 \ --max-model-len 262144 \ --enable-chunked-prefill --enable-prefix-caching \ --reasoning-parser nemotron_v3 \ --speculative-config {method: nemotron_h_mtp, num_speculative_tokens: 5}几个关键参数值得留意--tensor-parallel-size 4 --enable-expert-parallel4 卡张量并行 专家并行是 550B 模型的标配--reasoning-parser nemotron_v3自动把输出拆成“推理过程 最终回答”仓库内的 ultra_v3_reasoning_parser.py 就是该解析器的定制实现--speculative-config启用 MTP 原生投机解码5 个推测 token推理更快。启动后即可通过标准 OpenAI 接口访问from openai import OpenAI client OpenAI(base_urlhttp://localhost:8000/v1, api_keyEMPTY) MODEL nemotron-teacher resp client.chat.completions.create( modelMODEL, messages[{role: user, content: 推荐三件北京周末适合带孩子做的事并说明理由}], max_tokens16000, temperature1.0, top_p0.95, extra_body{chat_template_kwargs: {enable_thinking: True}}, ) print(resp.choices[0].message.content)官方推荐的采样参数是temperature1.0, top_p0.95与 generation_config.json 的top_p0.95一致。✍️ 三、多轮对话数据生成三步法第一步构建“话题种子池”数据质量的上限取决于种子质量。建议从三个维度组合出题角色Persona新手爸妈、程序员工、考研学生、小店主……场景Scenario咨询建议、任务协作、情绪陪伴、知识问答……对话策略中途追问、改主意、补充约束信息——这些“扰动”正是多轮能力的试金石。每个种子扩写成 3~6 轮的完整对话脚本或直接以开放式首问让模型自行展开多轮。第二步best-of-n 采样 奖励模型筛选不要“一问一答”式采集而是对每个话题让教师生成 n 个候选n 取 4~8再用一个生成式奖励模型或强模型裁判打分只保留最优解。这正是 Teacher-Chat 自身 SFT 数据的生产方式。采样时保持temperature1.0能获得足够的候选多样性。第三步切换推理模式平衡数据配比模型的推理开关由 chat_template.jinja 中的enable_thinking控制生成多轮数据时建议按约1:1的配比混用两种模式参数作用enable_thinking: true开启推理链默认适合逻辑类对话enable_thinking: false直接给答案适合闲聊类对话响应更快medium_effort: true中等推理强度推理 token 消耗显著更低truncate_history_thinking默认开自动截断历史轮次的推理过程长对话场景下大幅省 token# 关闭推理模式适合批量生成轻松多轮对话 extra_body{chat_template_kwargs: {enable_thinking: False}}最终 SFT 数据保存为标准messages格式system/user/assistant交替推理内容可单独保留用于带 CoT 的蒸馏。⚖️ 四、偏好对构建把多候选变成 chosen / rejected偏好对是 DPO / RLHF 的燃料。构建流程与数据生成天然复用无需额外成本复用多候选第二步的 best-of-n 采样中每个话题本就有 4~8 个候选回答统一打分用奖励模型或教师自身当裁判对所有候选打分并排序配对最高分作chosen最低分作rejected差距太小分差过小的配对丢弃质检抽查剔除重复啰嗦、推理链异常截断的样本——官方在数据清洗中就特别强调过滤“病理性重复”的推理轨迹。每条偏好对的标准结构如下prompt 为多轮历史{ prompt: [ {role: user, content: 我预算 5000想要一台适合剪视频的笔记本}, {role: assistant, content: ……}, {role: user, content: 主要出差用重量很关键} ], chosen: 推荐……高分回答兼顾预算与重量, rejected: 推荐……低分回答只堆参数没回应重量诉求 } 小技巧让chosen与rejected在同一维度上拉开差距如“是否回应了用户的追问”比整体质量差异更有利于小模型学到位移方向。 五、蒸馏训练SFT DPO 两阶段拿到两类数据后对小模型7B~32B 级别为宜执行两阶段训练SFT用高质量多轮对话数据微调让小模型先“像模像样”地对话DPO / RLHF用偏好对做偏好优化把“什么回答更好”的判断内化进模型。若追求更接近 Nemotron 3 Ultra 的配方可尝试on-policy 蒸馏MOPD 思路让学生模型自己生成回答on-policy rollout再由教师 Teacher-Chat 对这批回答打分或给出修订。因为学生学的是自己实际会产出的分布通常比直接模仿教师输出off-policy收益更稳定——这也是官方在 MOPD 阶段验证过的做法。训练完成后的验收建议用固定的多轮评测集含追问、改口类样本对比蒸馏前后的小模型重点观察“是否记住前文约束”与“语气一致性”两项。❓ 六、常见问题Q没有 4 张 B200 能用吗A官方最低要求是 4× B200/GB200/GB300/B300 或 8× H100消费级硬件无法完整部署 550B 模型。若团队已有大模型 API 服务可将其替换为教师端数据生成流程不变。Q数据能商用吗A模型基于 OpenMDW-1.1 许可允许商用与非商用用其生成的数据用于训练自有模型注意同时遵守你对种子数据的版权约定。Q中文效果如何A中文是其 12 种支持语言之一后训练语料中各非英语语言均有约 13.8 万条样本覆盖中文多轮对话数据生成可以放心使用。Q如何控制推理长度避免 token 爆表A开启medium_effort可显著降低推理 tokentruncate_history_thinking默认会截断历史推理内容更细粒度的reasoning_budget预算控制见 README.md 的 API Client 部分。 七、核心文件速查文件说明README.md模型卡架构、训练配方、部署指南config.json模型超参专家数、上下文、词表等chat_template.jinja对话模板enable_thinking/medium_effort等开关generation_config.json默认采样参数top_p0.95modeling_nemotron_h.py模型前向实现configuration_nemotron_h.py配置类定义ultra_v3_reasoning_parser.pyvLLM 推理内容解析器tokenizer.json分词器131072 词表 八、总结用 NVIDIA-Nemotron-Labs-Teacher-Chat 蒸馏专属小模型本质是三步部署教师 → 批量生成 best-of-n 多轮对话 → 按分数配对成偏好数据最后用“SFT DPO”两阶段把能力迁移给小模型。它的最大价值在于你不必自己摸索数据配方直接把官方生产 550B 教师模型的同一套数据流水线生成式奖励筛选 偏好精调平移到自己的小模型上即可。跑通这一套流程后无论是客服助手、垂直领域陪练还是轻量对话底座都能获得一份可复用的“对话能力蒸馏管线”。赞分享【免费下载链接】NVIDIA-Nemotron-Labs-Teacher-Chat项目地址https://ai.gitcode.com/hf_mirrors/nvidia/NVIDIA-Nemotron-Labs-Teacher-Chat点击查看免费下载相关推荐把NVIDIA-Nemotron-Labs-Teacher-General-Reasoning当老师构建你自己的推理轨迹蒸馏与数据生成管线实战指南把NVIDIA Nemotron Labs Teacher General Reasoning当老师构建你自己的推理轨迹蒸馏与数据生成管线实战指南 NVIDI用 NVIDIA-Nemotron-Labs-Teacher-STEM 生成合成数据构建蒸馏教师与推理轨迹工厂的完整教程用 NVIDIA Nemotron Labs Teacher STEM 生成合成数据构建蒸馏教师与推理轨迹工厂的完整教程 NVIDIA Nemotron LaNVIDIA-Nemotron-Labs-Teacher-Chat全解析550B参数开源对话教师模型一文读懂它的定位与能力NVIDIA Nemotron Labs Teacher Chat全解析550B参数开源对话教师模型一文读懂它的定位与能力 NVIDIA Nemotron上一篇视频换脸2个素材就能跑完Rope-Pearl从零到导出成片完整指南下一篇Pot 划词翻译与截图 OCR 完全指南5 分钟装好吃透 6 大场景与源码构建创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考