【免费下载链接】Qwen3-VL-235B-A22B-Instruct项目地址https://ai.gitcode.com/hf_mirrors/unsloth/Qwen3-VL-235B-A22B-Instruct点击查看免费下载Qwen3-VL-235B-A22B-Instruct 是 Qwen3-VL 系列中旗舰级的多模态大模型采用 MoEMixture of Experts混合专家架构总参数约235.7B但每生成一个 token 只激活约22B参数。本文带你拆解它的 config.json讲清楚128 个专家、Top-8 路由背后的设计逻辑以及22B这个数字到底是怎么算出来的。一、为什么叫 235B-A22B命名里的数学题名称含义235B模型总参数量约 235.7B代表知识容量A22BActive 22B每个 token 实际参与计算的参数约 22B代表推理成本 一句话理解Dense 模型像只有一个大脑的专家MoE 模型像由 128 位专科医生组成的会诊室——每个问题只叫 8 位最对口的医生出场其余专家坐班但不接诊。这样既有 235B 的容量又有 22B 的算力开销。这个信息可以直接在模型索引文件 model.safetensors.index.json 的 metadata 中验证total_parameters:235,670,022,896精确到个位权重以 BF16 存储共 96 个分片约 471 GB如 model-00001-of-00096.safetensors 到 model-00096-of-00096.safetensors二、模型档案关键数字一览打开 config.json 的text_config字段核心参数如下配置项取值通俗解释num_hidden_layers94语言模型共 94 层 Transformernum_experts128每层有 128 个专家小型 MLPnum_experts_per_tok8每个 token 只选 8 个专家moe_intermediate_size1536单个专家的中间层宽度hidden_size4096主干隐藏层宽度num_attention_heads/num_key_value_heads64 / 4GQA 分组注意力KV 头压缩 16 倍decoder_sparse_step1每一层都是 MoE没有稠密层垫场norm_topk_probtrueTop-8 概率重新归一化权重更平稳router_aux_loss_coef0.001负载均衡辅助损失的强度max_position_embeddings262,144原生256K 上下文可扩展至 1Mdecoder_sparse_step: 1是一个容易被忽略的细节94 层里每一层的 MLP 都被换成了 MoE 专家路由稀疏激活贯穿全模型。三、128 专家 Top-8 路由是如何工作的3.1 Router每个 token 前的分诊台在 94 层的每一层里token 到达 MLP 位置时会先经过一个小路由矩阵mlp.gate.weight形状 4096×128打分Router 为 128 个专家各打一个分数softmax 后形成概率分布筛选只保留分数最高的 8 个num_experts_per_tok: 8归一化因为这 8 个专家的概率之和通常不足 1norm_topk_prob: true会把它们重新归一化到总和为 1避免输出信号被稀释加权融合8 个专家各自计算输出再按各自概率加权求和你可以在 model.safetensors.index.json 中看到每一层的结构mlp.experts.gate_up_proj、mlp.experts.down_proj128 个专家的权重SwiGLU 结构与mlp.gate.weight路由器并存。3.2 为什么不是 Top-4 或 Top-16Top-4单 token 信息量不足复杂推理容易会诊不充分Top-16激活参数翻倍到 40B成本优势缩水Top-8在能力与成本之间取得平衡——这正是235B 容量 22B 成本的由来3.3 专家如何各有所长训练时router_aux_loss_coef: 0.001控制着一个负载均衡辅助损失惩罚某个专家被反复选中、其他专家吃闲饭的现象。效果是数学推理 token 倾向走一批专家代码 token 倾向走另一批推理时 GPU 各专家负载较均匀不会出现少数热门专家成为吞吐瓶颈这也是 MoE 推理必须做专家并行Expert Parallelism部署的原因——96 个分片里堆满了专家权重每层专家约 2.4B 参数需要多卡分摊。四、验算 22B一层一层的参数账本下面用 config.json 里的维度做一次人工审计看看 22B 激活参数从哪来组件单层参数量×94 层注意力 Q/K/V/O 投影GQA 64Q/4KVhead_dim 128≈ 71.3M≈ 6.7B每 token 激活的 8 个专家8 × 18.87M≈ 151.0M≈ 14.2B路由器 各层 LayerNorm≈ 0.53M≈ 50M词表 Embedding LM Headvocab 151,936不共享权重—≈ 1.24B激活合计≈ 22.2B ✅作为对比全部 128 个专家在单层就占 128 × 18.87M ≈2.42B94 层专家总量约227B——超过全模型参数量的一半还多。这就是总参数 235B与激活 22B差距的真相约 93% 的专家权重在任何单步推理中都是待命状态。 换句话说235B 的模型每 token 的矩阵乘法和显存读取量只相当于一个 22B 的 Dense 模型而知识库容量接近 235B。五、另一半模型约 0.6B 的视觉塔总参数 235.67B 减去语言侧约 235.09B剩下约0.58B属于视觉编码器model.visual.*权重位于 model-00001-of-00096.safetensors。按 config.json 的vision_config视觉配置取值作用depth27ViT 主干 27 层patch_size/temporal_patch_size16 / 2图像切 16×16 块视频每 2 帧打包spatial_merge_size22×2 相邻视觉 token 合并为 1压缩序列长度out_hidden_size4096对齐语言模型宽度README.md 中列出的三项架构升级也体现在配置里Interleaved-MRoPEmrope_interleaved: truesection 24/20/20时间、宽、高三个维度的位置编码全频段交织强化长视频时序推理DeepStackdeepstack_visual_indexes: [8, 16, 24]把第 8/16/24 层 ViT 的多层特征融合注入文本侧对应权重中的 3 组deepstack_merger_list捕捉更细粒度的图文对齐文本-时间戳对齐视频事件可精确定位到秒级六、部署实操硬件需求与配置建议6.1 显存需求速查精度权重大小推荐硬件推理BF16 原始≈ 471 GB96 分片8×80GB GPU 起步INT8≈ 240 GB4×80GB GPUINT4/GGUF≈ 130 GB2×80GB 或高端消费卡组合本仓库带有unsloth_fixed: true标记见 config.json是 Unsloth 维护的镜像修复了 chat template 问题用llama.cpp加载 GGUF 时建议加--jinja参数详见 README.md 顶部说明。6.2 关键使用提示上下文原生 256K适合整本书/数小时视频配合flash_attention_2在多图、视频场景下显存更省KV Cache 友好GQA 的 64Q/4KV 结构把 KV 头压缩了 16 倍长上下文下的缓存显存约为每 token 188KB是 256K 长文推理能落地的关键词表151,936 个 token分词器见 tokenizer.json对话模板见 chat_template.json 与 chat_template.jinja视觉 Agent 相关新增标记在 added_tokens.json生成参数官方默认 generation_config.json 为temperature 0.7 / top_p 0.8 / top_k 206.3 何时选它✅ 需要旗舰级视觉推理GUI Agent、OCR 32 语言、空间理解、STEM 推理✅ 长文档 视频混合理解❌ 只跑纯文本且显存紧张可考虑 Qwen3-VL 的 Dense 小杯型235B-A22B 的 MoE 优势在多模态场景才最明显七、总结Qwen3-VL-235B-A22B-Instruct 用一组非常克制的设计实现了旗舰能力128 专家 × Top-8每层只激活 6.25% 的专家权重换来 22B 的激活成本全层稀疏 负载均衡损失能力不缩水推理负载还均匀GQA 64/4 256K 上下文长上下文推理的显存开销被压到可落地约 0.6B 视觉塔 DeepStack/MRoPE以极小比例换来旗舰级视觉理解读懂 config.json 里的这些数字你就能向别人解释清楚为什么一个 235B 的模型用起来只烧 22B 的电。赞分享【免费下载链接】Qwen3-VL-235B-A22B-Instruct项目地址https://ai.gitcode.com/hf_mirrors/unsloth/Qwen3-VL-235B-A22B-Instruct点击查看免费下载相关推荐Qwen3-235B-A22B-Thinking-2507架构全解128个专家如何只激活22B参数Qwen3 235B A22B Thinking 2507架构全解128个专家如何只激活22B参数 Qwen3 235B A22B Thinking 2235B总参数只激活22BQwen3-235B-A22B-quantized.w8a8的MoE混合专家架构拆解235B总参数只激活22BQwen3 235B A22B quantized.w8a8的MoE混合专家架构拆解 本文拆解 Qwen3 235B A22BQwen3-235B-A22B-W4A8 MoE架构拆解128专家与22B激活参数的高效秘诀Qwen3 235B A22B W4A8 MoE架构拆解128专家与22B激活参数的高效秘诀 Qwen3 235B A22B W4A8 是 vllm asce上一篇vscode-dark-islands的Markdown代码块背景与边框优化下一篇Obsidian-i18n3步完成插件AI翻译让英文界面秒变中文的终极指南创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考