【免费下载链接】PIIP-LLaVA_ConvNeXt-B_CLIP-L_640-224_7B项目地址https://ai.gitcode.com/OpenGVLab/PIIP-LLaVA_ConvNeXt-B_CLIP-L_640-224_7B点击查看免费下载PIIP-LLaVA_ConvNeXt-B_CLIP-L_640-224_7B是基于 Vicuna-7B 的多模态大模型采用 PIIPParameter-Inverted Image Pyramid Networks参数反转图像金字塔网络作为视觉编码器支持图像理解与 OCR 等视觉任务。本仓库是一个典型的 Hugging Face Transformers 模型仓库README.md 说明其基于lmsys/vicuna-7b-v1.5合并而来流水线标签为image-text-to-text。本文将带你逐个读懂config.json、safetensors 权重分片和trainer_state.json 训练日志帮助你快速验证并加载这个模型。 项目文件全景清单整个仓库文件不多每个文件各司其职文件作用大小LFS 实际大小config.json模型结构与关键超参数配置1.5 KBmodel-00001-of-00003.safetensors权重分片 1词嵌入 LLM 前 10 层约 4.9 GBmodel-00002-of-00003.safetensors权重分片 2LLM 中间层约 4.9 GBmodel-00003-of-00003.safetensors权重分片 3LLM 尾部 视觉塔 投影器约 4.5 GBmodel.safetensors.index.json权重分片索引哪个张量在哪个分片约 134 KBtrainer_state.json训练日志逐步 loss、学习率约 630 KBtraining_args.bin训练参数序列化文件PyTorch pickle约 6 KBgeneration_config.json生成参数temperature、top_p 等229 Btokenizer.model / tokenizer_config.jsonLlamaTokenizer 词表与分词配置约 500 KBspecial_tokens_map.json特殊 token 映射438 B.gitattributesGit LFS 跟踪规则1.2 KB 除config.json、index.json、trainer_state.json外其余大文件都是通过Git LFS存储的.gitattributes中可以看到*.safetensors filterlfs ...等规则这解释了为什么本地克隆后它们可能是只有几百字节的“指针文件”。 config.json 解读模型架构关键参数config.json 是加载模型时的“身份证”几个核心字段值得重点关注architectures: [LlavaLlamaForCausalLM]config.json#L3-L5表明这是 LLaVA 架构、底座为 LLaMA 的因果语言模型需要支持自定义代码custom_code的 LLaVA 扩展版 Transformers 才能加载。LLM 主干规模hidden_size: 4096、num_hidden_layers: 32、num_attention_heads: 32、vocab_size: 32000与 Vicuna-7B 完全一致即文本侧是 7B 参数规模的 LLaMA。视觉侧配置mm_vision_towerconfig.json#L27指向configs/piip-llava_convnext-b_clip-l_640-224_7B.py即 ConvNeXt-B CLIP-L输入 640×640patch 224的 PIIP 视觉塔mm_hidden_size: 1024视觉特征维度与 CLIP-L 输出一致mm_projector_type: mlp2x_gelu两层 MLP 将 1024 维视觉特征投影到 4096 维 LLM 嵌入空间mm_vision_select_layer: -2取视觉塔倒数第 2 层特征。torch_dtype: bfloat16config.json#L40模型以 BF16 精度存储与推理这也是权重约 14.36 GB 的原因7B × 2 字节 视觉塔。训练相关的tune_vision_tower: true、tune_mm_mlp_adapter: false表示该模型训练时只微调视觉塔与 LLM投影器保持冻结。 权重分片与 index.json读懂 3 个 safetensors大模型权重常被切成多个.safetensors分片以便并行下载与加载分片之间的“路由表”就是 model.safetensors.index.json{ metadata: { total_size: 14360516096 }, weight_map: { model.embed_tokens.weight: model-00001-of-00003.safetensors, model.layers.0.self_attn.q_proj.weight: model-00001-of-00003.safetensors, model.vision_tower...: model-00003-of-00003.safetensors } }total_size为 14,360,516,096 字节约13.7 GiB可用来校验 3 个分片下载是否完整weight_map以张量全名为键、分片文件名为值。例如词嵌入model.embed_tokens.weight在分片 1lm_head.weight与整个model.vision_tower.*、model.mm_projector.*都在分片 3分片内容大致为分片 1 嵌入 LLM 第 0~10 层分片 2 LLM 第 11~23 层左右分片 3 LLM 尾部层 视觉塔 多模态投影器详见 model.safetensors.index.json 全文。⚠️ 如果你用git clone且未配置 LFS会看到文件只有 135 字节的指针内容形如version https://git-lfs.github.com/spec/v1此时需要执行git lfs pull拉取真实权重。 trainer_state.json训练日志怎么读trainer_state.json 是 Hugging Face Trainer 自动保存的训练日志共记录5199 条历史从中可以还原这次训练的全貌日志字段数值含义max_steps/global_step5198共训练 5198 步num_train_epochs1完整过了一遍训练集train_batch_size16批大小 16学习率峰值2e-05从约 1.3e-07 线性预热到 2e-05train_loss最终0.8038末尾训练损失train_runtime34129 s约 9.5 小时训练总耗时train_samples_per_second19.49吞吐约 19.5 样本/秒total_flos约 2.02e19总浮点运算量log_history中每一步都记录了step、epoch、learning_rate与loss例如第一条是{epoch: 0.0, learning_rate: 1.28e-07, loss: 1.3229, step: 1}末条则是汇总的train_loss、train_runtime等指标trainer_state.json 第 5 行起的log_history数组。loss 从 1.32 降至 0.80曲线平稳说明这是一次收敛良好的微调训练。 其他辅助文件速览generation_config.json默认生成参数temperature: 0.9、top_p: 0.6、do_sample: true并指定attn_implementation: flash_attention_2FlashAttention-2 加速。tokenizer.modeltokenizer_config.jsonLlama 原生 SentencePiece 词表model_max_length: 2048、右侧填充padding_side: rightspecial_tokens_map.json 定义s//s/unk等控制 token。training_args.binTrainingArguments 的二进制序列化可用torch.load反序列化查看完整训练超参学习率调度、精度等。⬇️ 如何获取完整模型权重推荐直接使用 clone 方式获取LFS 自动处理权重分片git clone https://gitcode.com/OpenGVLab/PIIP-LLaVA_ConvNeXt-B_CLIP-L_640-224_7B cd PIIP-LLaVA_ConvNeXt-B_CLIP-L_640-224_7B git lfs pull下载后可用index.json中的total_size14360516096 字节核对 3 个分片总大小确认权重完整即可配合 LLaVA 扩展版 Transformers 加载推理。✅ 小结config.json告诉我们LLaVA Vicuna-7B 底座 PIIPConvNeXt-B/CLIP-L视觉塔BF16 精度两层 MLP 投影3 个 safetensors 分片由 index.json 统一索引总权重约 13.7 GiBtrainer_state.json记录了 5198 步、约 9.5 小时、loss 1.32 → 0.80 的完整训练轨迹拿到仓库后先确认 LFS 权重已拉取再按 config.json 与 generation_config.json 的参数进行加载与生成。赞分享【免费下载链接】PIIP-LLaVA_ConvNeXt-B_CLIP-L_640-224_7B项目地址https://ai.gitcode.com/OpenGVLab/PIIP-LLaVA_ConvNeXt-B_CLIP-L_640-224_7B点击查看免费下载相关推荐DeepSeek-V3.2-4layers文件清单完全解读6个safetensors分片与22.9GB权重分布图DeepSeek V3.2 4layers文件清单完全解读6个safetensors分片与22.9GB权重分布图 DeepSeek V3.2 4layersPaddleNLP ERNIE 预训练模型全览从权重清单到源码级配置解读PaddleNLP ERNIE 预训练模型全览从权重清单到源码级配置解读 本文以 docs/zh/model_zoo/transformers/ERNIE/c人工智能大模型预训练微调LoRARLHF强化学习分布式训练模型推理服务推理引擎模型量化模型压缩本地部署NLPVision-RWKV模型权重完整清单ImageNet、COCO、ADE20K共16个预训练检查点全解析Vision RWKV模型权重完整清单ImageNet、COCO、ADE20K共16个预训练检查点全解析 Vision RWKV 是 OpenGVLab 推出上一篇React Native SVG 性能优化终极指南减少重绘与内存占用的10个技巧下一篇基于 Zabbix SNMP 模板监控 Intelbras / Dahua NVR从导入、配置到摄像头与磁盘自动发现实战指南创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考