【免费下载链接】InternVL2-40B项目地址https://ai.gitcode.com/OpenGVLab/InternVL2-40B点击查看免费下载InternVL2-40B 是上海AI LabOpenGVLab开源的 InternVL 2.0 系列中的旗舰多模态大模型总参数约 400 亿能够同时理解文本、图像和视频在文档理解、图表问答、OCR、数学推理等主流基准上多项成绩超越 GPT-4T被誉为开源阵营中最接近 GPT-4V 水平的模型之一。本文带你完整看懂它的架构、性能与部署方法。一、什么是 InternVL2-40BInternVL2-40B 属于 InternVL 2.0 系列的指令微调模型该系列覆盖 1B 到 108B 多个尺寸。与上一代相比2.0 版本带来两个关键升级8k 上下文窗口原生支持长文本推理️多模态长输入训练数据包含长文本、多图、视频显著增强对这类输入的处理能力本仓库即 InternVL2-40B 的完整权重与自定义推理代码采用 MIT 许可证开源支持 Hugging Facetransformers原生加载。二、模型结构视觉编码器 投影层 语言模型InternVL2-40B 是经典的三件套结构各部分职责如下组件模型规模作用视觉编码器InternViT-6B-448px-V1-5约 6B把图片切块编码为视觉特征投影层MLPmlp1较小将视觉特征对齐到语言空间语言模型Nous-Hermes-2-Yi-34B约 34B负责对话与文本生成 相关定义可以对照源码理解modeling_internvl_chat.py多模态对话主模型InternVLChatModelmodeling_intern_vit.py视觉编码器 InternViT 的实现conversation.py对话模板管理config.json完整的结构与超参数配置从 config.json 中可以看到几个核心参数视觉塔共45 层、image_size: 448、patch_size: 14语言部分为60 层Llama 架构hidden_size: 7168上下文max_position_embeddings: 8192对话模板为Hermes-2。三、性能解析哪些榜单对标 GPT-4VInternVL2-40B 在图像、视频、定位三大类基准上表现亮眼以下为核心数据对比摘自官方 README.md图像能力多项超越 GPT-4T基准GPT-4TGemini-1.5-ProInternVL2-40BDocVQA文档问答87.286.593.9ChartQA图表问答78.181.386.2OCRBenchOCR678754837MME综合感知2070.22110.62315.0MathVista数学58.157.763.7OpenCompass 平均分63.564.469.7视频与定位能力能力对比InternVL2-40BVideo-MME无字幕优于 GPT-4V59.961.2RefCOCO 系列定位平均分超越上一代 InternVL-Chat-V1-590.3 简评在文档/图表理解、场景文本 OCR、中文文化理解CCBench 80.6 vs GPT-4T 57.3上优势最明显MMMU 等强推理项与闭源旗舰仍有差距属于务实可用的第一梯队。四、动态分辨率看懂复杂图片的秘密InternVL2-40B 默认启用dynamic_image_size即动态分辨率策略根据原图宽高比自动切分为最多max_dynamic_patch: 12个 448×448 的图块额外追加一张缩略图use_thumbnail: true兼顾局部细节与全局视角每张图因此可能对应多个imagetoken输入顺序为细节块 缩略图这也是它在 DocVQA、InfoVQA 这类小字密集任务上领先的重要原因——分辨率越高文字看得越清。五、快速上手本地推理指南硬件要求bf16 全精度权重约75GB17 个 safetensors 分片见 model.safetensors.index.json至少需要 2 张 80GB 显卡8-bit 量化load_in_8bitTrue1 张 80GB 显卡即可加载与推理要点使用transformers4.37.2加载时必须加trust_remote_codeTrue因为本模型自带自定义代码auto_map指向 configuration_internvl_chat.py 等文件import torch from transformers import AutoTokenizer, AutoModel path OpenGVLab/InternVL2-40B model AutoModel.from_pretrained( path, torch_dtypetorch.bfloat16, load_in_8bitTrue, # 显存紧张时开启 8-bit 量化 low_cpu_mem_usageTrue, use_flash_attnTrue, trust_remote_codeTrue).eval() tokenizer AutoTokenizer.from_pretrained(path, trust_remote_codeTrue, use_fastFalse)单图对话只需一行question image\nPlease describe the image shortly. response model.chat(tokenizer, pixel_values, question, generation_config)仓库内置了完整示例可直接参考 README.md 的 Quick Start 章节支持纯文本、单图多轮、多图多轮、视频多轮对话等场景示例素材在 examples/ 目录如 examples/image1.jpg。六、低门槛部署LMDeploy 一行命令起服务生产部署推荐LMDeploypip install lmdeploy0.5.3一条命令即可把模型包装成兼容 OpenAI 接口的 API 服务lmdeploy serve api_server OpenGVLab/InternVL2-40B --server-port 23333 --tp 2之后用openaiSDK 指向http://0.0.0.0:23333/v1即可像调用 GPT 一样调用 InternVL2-40B支持多模态 content文本 image_url 混合。多图输入时注意图片越多、token 越多上下文窗口session_len要相应调大。七、仓库文件速查文件/目录说明config.json模型结构总配置视觉塔、语言塔、动态分辨率参数configuration_internvl_chat.py自定义 AutoConfigmodeling_internvl_chat.py多模态模型主体与chat接口modeling_intern_vit.py6B 视觉编码器 InternViTconversation.pyHermes-2 对话模板added_tokens.json新增视觉 token 定义tokenizer.modelSentencePiece 分词器model-00001-of-00017.safetensors ~ 17模型权重分片bf16合计约 75GBgeneration_config.json默认生成参数八、许可证与注意事项 本仓库模型权重以MIT License发布商用友好其中语言基座 Nous-Hermes-2-Yi-34B 为 Apache License 2.0⚠️ 官方提示作为概率生成模型仍可能产出有偏或不当内容商用前建议自行做安全过滤⚠️ 多图对话因训练数据有限效果可能不稳定建议重试或降低图片数量总结InternVL2-40B 用6B 视觉塔 34B 语言模型 动态分辨率的组合在文档、图表、OCR、视频理解等实用场景上实现了对 GPT-4V 级别闭源模型的全面对标是目前开源多模态模型中性价比与能力兼备的选择。如果你有 1~2 张 80GB 显卡配合 LMDeploy 就能快速搭建自己的GPT-4V级视觉理解服务。赞分享【免费下载链接】InternVL2-40B项目地址https://ai.gitcode.com/OpenGVLab/InternVL2-40B点击查看免费下载相关推荐AMD锐龙AI本地大模型完全指南Qwen2.5_3B_Instruct_rai_1.8.0_hybrid是什么、能做什么AMD锐龙AI本地大模型完全指南Qwen2.5_3B_Instruct_rai_1.8.0_hybrid是什么、能做什么 AMD 锐龙 AI 本地大模型Confucius4是什么网易有道开源数学推理多模态大模型Confucius4_GGUF完全解析Confucius4是什么网易有道开源数学推理多模态大模型Confucius4_GGUF完全解析 Confucius4_GGUF 是网易有道开源的数学推理多模Linux内核GICv3 ITS翻译表4张结构3条命令让每条MSI中断都找对路Linux内核GICv3 ITS翻译表4张结构3条命令让每条MSI中断都找对路 PCIe网卡刚上线就再没收到过MSI中断 /proc/interrupts操作系统驱动开发内核驱动上一篇TIC-80内存银行深度解析64KB约束下的动态资源管理架构下一篇ops-nn Tiling策略详解张量切分与并行调度的核心机制和3大交付件创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考