数据集AI 评测计算机视觉多模态人工智能【免费下载链接】HSS项目地址https://ai.gitcode.com/hf_mirrors/ScaleAI/HSS点击查看免费下载HSSHumanitys Sixth Sense是一个测试多模态大模型直观视觉推理能力的评测基准用 522 道人工精修的看图 / 看视频题检验模型能否从一张图片或一段短视频中一眼推断出隐含的时间、空间、社交与抽象结构。本文聚焦其中的Abstract Contextual Inference抽象与情境推理领域讲清楚模式补全与空想性错视Patterns Pareidolia和变化与后果Change Consequence两个子领域共 102 道题的出题逻辑、评分规则与常见翻车点帮你快速判断自己的模型能答对几道。 先看懂基准HSS 到底考什么HSS 的核心假设是人类有很多看一眼就懂的直觉比如推断被遮挡的物体、预判运动轨迹、读懂社交关系。基准把这种直觉变成可测的题目——每道题由一张图片或一段视频 人工撰写的提问 参考答案 1~7 条可独立核查的评分标准rubric criteria组成。维度数据题目总数522 道288 图片题 234 视频题评分标准723 条每题 1~7 条领域 / 子领域4 大领域 / 11 个子领域人类正确率93.1%最强模型GPT-6-astra正确率53.6%值得注意的细节标注员共撰写了 3,466 道题只有 522 道被收录约 15.1%且每一道都必须经过三轮独立评审并全票通过。四大领域的完整分布见 README.md全部题目的原始数据则存放在 data/test.jsonl。 子领域一Patterns Pareidolia模式补全与空想性错视32 题这个子领域对应两种能力模式补全pattern completion与空想性错视Pareidolia。模式补全题是怎么出的题目通常给出一个被部分遮挡的物体要求模型根据对称结构、重复规律推断看不见的部分。以题号6aaca2efdcbe0b77e273a895为例画面中有一栋白色建筑左侧完整可见右侧被树木部分遮挡。目前右侧顶层可见 5 扇大窗按窗格规律推断若右侧完全可见顶层还会多出几扇窗参考答案的推理链是左侧顶层有 7 扇窗 → 建筑左右对称 → 右侧也应有 7 扇 → 已见 5 扇还差 2 扇。难度不在数数而在于注意到左右对称关系 → 信任这个规律 → 用应有数 − 已见数完成计算。任何一环没跟上答案就会整体跑偏。空想性错视PareidoliaPareidolia 指人脑无中生有地看到图案的现象——比如把云朵看成动物、把插座看成小脸。HSS 在这个子领域里要求模型区分图中真实存在的结构与看起来像但其实不存在的结构而这正是大模型最容易脑补的地方。32 道题把模式补全与错视辨别结合在一起本质上考的是模型能否把推理锚定在画面证据上而不是仅靠语言先验去猜。 子领域二Change Consequence变化与后果70 题这是抽象领域里体量最大的子领域70 题题型以反事实推理为主假设画面中某个元素变了接下来会发生什么以题号6a836920bc3c8196e12818bd为例如果沙滩上的救生员沿当前方向直线开下去所有人保持原位他会有风险撞到几个人直觉上包括很多模型会答撞好几个人但参考答案是0车辆轮胎与车身对齐、朝画面右侧直行而沙滩上所有人恰好都位于车辆与海水之间直线路径根本不经过他们。这道题要求模型先看清车头朝向和每个人的站位再模拟直线轨迹——空间判断差一步答案完全不同。为什么这个子领域最容易翻车空间关系要从二维像素里读朝向、遮挡、路径全部靠推反事实要求模型暂时冻结画面现状去模拟一个假想的演化评分标准只保留必要判分点漏掉任一关键结论整题即错。 动手体验加载数据与 Rubric 评分整个测试集就在单个文件 data/test.jsonl 中每行一道 JSON 格式的任务关键字段如下字段含义task_id唯一任务 IDdomain/subdomain领域与子领域media_typeimage或videomedia_path媒体文件路径如media/images/task_id.pngprompt展示给模型的问题golden_response人工撰写的参考答案rubric_criteria正确答案必须满足的评分标准列表跑法很直接用 Hugging Face 的datasets库执行load_dataset(ScaleAI/HSS, splittest)再用snapshot_download拉取对应的media/图片与视频文件加载示例见 README.md。评分采用LLM 评审rubric-graded评审模型对照题目、参考答案与模型回答逐条核对 rubric 条目只有当全部标准都满足时该题才计为答对头名指标是 522 道题的总体正确率。详见 README.md 的 Scoring 一节。❓ 自检三问你的模型能过几道对称遮挡能否根据可见的一半推断被遮挡部分的应有结构模式补全反事实轨迹能否模拟若直线行驶下去的运动路径并判断落点变化与后果错视辨别能否分清画面里真存在与只是看起来像空想性错视三道都答错的模型距离当前 HSS 榜首的 53.6% 都有明显差距而人类在这套题上能拿到 93.1%——这正是多模态模型还缺的第六感。 小结HSS 是目前少数专测直观视觉推理的基准人类 93.1%最强模型仅 53.6%抽象与情境推理领域102 题用模式补全、空想性错视、反事实后果三类题考模型的证据锚定与推演能力评分为rubric LLM 评审全部标准满足才算对比选择题苛刻得多提醒这是纯测试集请勿将其用于训练。赞分享数据集AI 评测计算机视觉多模态人工智能【免费下载链接】HSS项目地址https://ai.gitcode.com/hf_mirrors/ScaleAI/HSS点击查看免费下载相关推荐Palworld存档工具深度剖析5大核心技术架构与实战优化指南Palworld存档工具深度剖析5大核心技术架构与实战优化指南 Palworld存档工具palworld save tools是一款专为Palworld游开发工具游戏开发ARC完全指南如何通过抽象推理挑战测试你的AI智能ARC完全指南如何通过抽象推理挑战测试你的AI智能 抽象推理语料库 ARC是一个专为测试通用人工智能设计的革命性基准测试。这个终极指南将带你深入了解如何通数据集模型评测人工智能排行榜GelEdgeDB对象类型建模速查抽象类型、继承、计算属性、抽象链接与序列的 SDL 实战指南GelEdgeDB对象类型建模速查抽象类型、继承、计算属性、抽象链接与序列的 SDL 实战指南 对象类型Object Types是 Gel 数据模型中数据库图数据库关系型数据库上一篇IoT for Beginners 测验应用指南本地开发与 Azure Static Web Apps 部署实战下一篇Linux 内核 IRQ 基础概念解读从设备中断请求到 IRQ 号的完整映射创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考