资讯详情

PRISM: Reducing Spurious Implicit Biases in Vision-Language Models with LLM-Guided Embedding Proj...

📅 2026/10/16 6:09:26 | 华诺云谱 👁 阅读
PRISM: Reducing Spurious Implicit Biases in Vision-Language Models with LLM-Guided Embedding Proj...
文章主要内容和创新点主要内容本文提出了一种名为PRISM(Projection-based Reduction of Implicit Spurious bias in vision-language Models)的方法,用于减少视觉-语言模型(如CLIP)中的隐性虚假偏见。该方法具有无数据依赖和任务无关的特点,主要通过两个阶段实现去偏:第一阶段:利用大型语言模型(LLM),基于简单的类别提示生成包含虚假关联的场景描述,动态识别数据中潜在的虚假属性(如“骆驼”与“沙漠”的不当关联)。第二阶段:提出一种新的潜在空间去偏损失(Latent space Debiasing Loss, LD),通过对比学习的方式学习一个投影矩阵,将嵌入空间映射到一个新的子空间。该子空间可最小化虚假关联的影响,同时保留图像与文本嵌入的语义对齐。实验表明,PRISM在Waterbirds和CelebA数据集上的去偏性能(最差分组准确率)优于现有方法,且不会降低模型的整体准确率。此外,文中还提出了轻量版PRISM-mini,适用于计算资源有限的场景。创新点动态识别虚假关联:利用LLM生成反映数据中常见虚假关联的文本描述,无需依赖预定义的偏见类别,实现了任务无关的偏见识别。
📝

华诺云谱内容团队

资深建站顾问 · 行业研究员

10年+企业数字化服务经验,专注智能建站、SEO优化与品牌营销,持续输出建站技巧、行业洞察与营销干货,已帮助5000+企业实现数字化增长。

你可能需要的服务

订阅华诺云谱资讯周报

每周一封,精选建站技巧、SEO与营销干货,直达邮箱。已有 8,000+ 企业主订阅,助你少走弯路。

↑