【免费下载链接】InternVL-14B-Flickr30K-FT-364px项目地址https://ai.gitcode.com/OpenGVLab/InternVL-14B-Flickr30K-FT-364px点击查看免费下载InternVL-14B-Flickr30K-FT-364px 是一个 14B 参数的开源多模态图文检索模型在 Flickr30K 数据集上微调支持图搜文和文搜图两种零样本检索任务。本文带你用 10 分钟完成模型下载并跑通第一次图文相似度检索。一、这是什么模型适合谁用InternVL 系列把 6B 参数的视觉编码器ViT与 LLM 对齐是目前规模最大的开源视觉/视觉-语言基础模型之一。而本仓库InternVL-14B-Flickr30K-FT-364px是它的检索微调版核心能力是️Image-to-Text Retrieval给一张图从一堆文本中找出最匹配的描述✍️Text-to-Image Retrieval给一段描述从一堆图中找出最匹配的图片多语言文本英文、中文、日文描述均可使用如summarize:一张熊猫的照片 图像统一处理为364×364像素与底座模型 InternVL-14B-224px 相比对小物体更友好你可以把它理解为一个图文相似度计算器图片和文本都被编码成同一空间里的向量向量越接近余弦相似度越高说明图文匹配度越高。二、环境准备最快安装方法模型依赖 PyTorch 与 Transformers建议先创建虚拟环境pip install torch transformers模型权重为 bfloat16 精度建议准备一块显存 ≥24GB 的 GPU如 RTX 3090/4090 或 A100。三、获取模型两种方式任选方式一克隆仓库获得代码与配置文件git clone https://gitcode.com/OpenGVLab/InternVL-14B-Flickr30K-FT-364px仓库中的核心文件modeling_internvl.py模型主实现forward方法返回图文相似度 logitsconfig.json模型结构配置force_image_size: 364即 364 分辨率的来源preprocessor_config.json图像预处理参数缩放、归一化均值/方差tokenizer_config.json分词器配置LlamaTokenizerpytorch_model-00001-of-00003.bin 等三个权重分片索引见 pytorch_model.bin.index.json方式二通过 Transformers 自动下载代码中直接写模型名OpenGVLab/InternVL-14B-Flickr30K-FT-364px首次运行会自动拉取权重与代码适合快速验证。四、第一次图文检索核心代码解析完整示例见 README.md下面是精简版import torch from PIL import Image from transformers import AutoModel, AutoTokenizer, CLIPImageProcessor # 1. 加载模型bfloat16 trust_remote_code 缺一不可 model AutoModel.from_pretrained( OpenGVLab/InternVL-14B-Flickr30K-FT-364px, torch_dtypetorch.bfloat16, low_cpu_mem_usageTrue, trust_remote_codeTrue).cuda().eval() image_processor CLIPImageProcessor.from_pretrained(OpenGVLab/InternVL-14B-Flickr30K-FT-364px) # 2. 加载分词器必须设置 pad_token_id 0 tokenizer AutoTokenizer.from_pretrained( OpenGVLab/InternVL-14B-Flickr30K-FT-364px, use_fastFalse, add_eos_tokenTrue) tokenizer.pad_token_id 0 # 3. 准备图文数据注意文本要加 summarize: 前缀 images [Image.open(./cat.jpg).convert(RGB)] texts [summarize:一张猫的照片, summarize:a photo of a red panda] # 4. 前向推理得到相似度矩阵 pixel_values image_processor(imagesimages, return_tensorspt).pixel_values.to(torch.bfloat16).cuda() input_ids tokenizer(texts, return_tensorspt, max_length80, truncationTrue, paddingmax_length).input_ids.cuda() logits_per_image, logits_per_text model( imagepixel_values, textinput_ids, modeInternVL-C) probs logits_per_image.softmax(dim-1)两个必须注意的细节缺失会导致结果异常文本前缀summarize:tokenizer.pad_token_id 0相似度矩阵logits_per_image的行对应图片、列对应文本取argmax即可得到匹配结果。推理逻辑可参考 modeling_internvl.py 中的forward图文特征先做归一化再计算余弦相似度作为 logits。五、两种模式怎么选InternVL-C 与 InternVL-Gmodel(..., mode...)支持两种模式对应 InternVL 论文中的两个变体实现见 modeling_internvl.py模式特点适用场景InternVL-C视觉特征直连 CLIP 投影头结构更简洁通用图文检索、相似度计算InternVL-G引入 96 个 query token 与 LLM 交互语义理解更深需要强语义对齐的细粒度检索配置中num_query_token: 96、clip_embed_dim: 768等参数可在 config.json 中查看视觉编码器细节见 configuration_intern_vit.py语言模型部分见 modeling_qllama.py。六、常见问题速查FAQ结果全是异常分数检查是否加了summarize:前缀、是否设置了pad_token_id 0中文/日文能检索吗可以示例中summarize:一张熊猫的照片即为中文查询图像尺寸有要求吗处理器会自动缩放到 364×364 并做 CLIP 风格归一化见 preprocessor_config.json你只需传入原图显存不够怎么办14B bfloat16 至少需要约 30GB 显存显存不足时可降低批量或考虑其他量级的 InternVL 模型七、下一步如何评估你的检索效果跑通单图单句后可替换为自己的图片库和文本库批量计算相似度并排序训练参数可参考 training_args.binFlickr30K 微调配置学术引用格式见 README.md至此你已经完成了从下载到第一次图文检索的全流程。InternVL-14B-Flickr30K-FT-364px 开箱即用非常适合作为图搜引擎、内容审核、多模态搜索等场景的检索基座。赞分享【免费下载链接】InternVL-14B-Flickr30K-FT-364px项目地址https://ai.gitcode.com/OpenGVLab/InternVL-14B-Flickr30K-FT-364px点击查看免费下载相关推荐5分钟上手InternVL-14B-FlickrCN-FT-364px图文检索快速入门教程5分钟上手InternVL 14B FlickrCN FT 364px图文检索快速入门教程 InternVL 14B FlickrCN FT 364px 是一一文读懂InternVL-14B-FlickrCN-FT-364px从CLIP到生成式对齐的图文检索技术演进一文读懂InternVL 14B FlickrCN FT 364px从CLIP到生成式对齐的图文检索技术演进 InternVL 14B FlickrCN FT为什么检索结果不准InternVL-14B-Flickr30K-FT-364px 必看的 summarize 前缀与 pad_token 陷阱为什么检索结果不准InternVL 14B Flickr30K FT 364px 必看的 summarize 前缀与 pad_token 陷阱 InternV创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考