人工智能AI 技能计算机视觉OCRGUI 自动化大模型DeepSeek【免费下载链接】agent-vision-toolkit为纯文本模型看图“设计更好的视觉工具箱和技能支持多图理解图片问答前端UI还原、GUI 自动化等并可选无缝接入多个主流agent直接识别粘贴图片 A vision toolkit and skill designed for text-only llms — image QA, long-screenshot OCR, frontend UI restoration, and GUI automation, with optional seamless integration for Codex, Claude Code, Pi, Oh My Pi, and OpenCode项目地址https://gitcode.com/Anionex/agent-vision-toolkit点击查看免费下载agent-vision-toolkit 是一个为纯文本大模型设计的开源视觉工具箱与技能包支持图片问答、长截图 OCR、前端 UI 还原和 GUI 自动化并可选接入 Codex、Claude Code、Pi、Oh My Pi、OpenCode 等主流 agent。这篇文章讲的不是它多能干而是它如何用自己花 230 道题跑出来的一场零结果评测诚实地约束了对外能下的结论、定义了这套视觉方案的能力边界。先认识一下这套工具箱到底解决什么问题如果你的 agent 接的是 DeepSeek 这类纯文本模型粘贴一张图片过去往往直接报错——模型根本没有眼睛。agent-vision-toolkit 的思路是把视觉能力装在 harness运行框架上而不是模型上透明代理agent 粘贴的图片由本地代理拦截交给一个多模态视觉模型转成文字描述再交回纯文本模型focus hint焦点提示转描述时把agent 为什么要看这张图的意图一并传给视觉模型拿到贴合当前任务的描述而不是一段没有重点的通用描述一组视觉 CLIglance看图问答、ground定位、detect盘点元素、trace矢量化、crop裁图外加一个 vision-skills 技能告诉 agent 什么时候该用哪个。上左传统方案用固定的通用提示词转图只能得到有侧边栏和卡片这类宽泛描述上右本项目的任务感知方案把将 UI 复刻成 HTML这个动机作为 focus hint 传给视觉模型返回的是布局、组件、间距、颜色这类真正用得上的细节。而 focus hint是否真的让答得更准恰恰是 README 里最核心的一句主张——它值得被数字检验。于是有了这场 230 题评测。为什么值得做一场 230 题评测让主张可证伪在跑实验之前评测的设计与预测被完整写进 research/hint-eval/DESIGN.md 并提交在产出任何数据之前完成跑完不改。这是整个项目最值得学的一点先押注、再开跑这样零结果才能被诚实解读而不是事后找补。设计上有三个关键决定决定做法为什么条件阶梯naive→contract_noverbatim→contract→hint→native每格只比上一格多一样东西每个差值都能归因到单一变量题库230 题100 道 CaptionQA 四选一 同批图去掉选项的 100 道开放式 30 道合成题标准答案不来自任何模型输出避免自问自答统计配对设计 McNemar 精确检验 bootstrap 95% CI同题同图跨条件跑才能看信号答题模型是纯文本的deepseek-v4-flash从不看图只看描述视觉模型为gemini-3.6-flash-lownative条件则让视觉模型直接看图作答作为多模态上限对照。视觉侧 prompt 直接从生产代码 vision_proxy.py 现取不手抄——上一版实验就是手抄漏了整段 prompt 而无人察觉。结果全部 p ≥ 0.227一次显著增益都没有完整结果见 research/2026-08-04-focus-hint-eval.md。先看主判断——contract→hint即 focus hint 本身的贡献题面差值胜/负p 值四选一n1300.8 pp4 / 31.000开放式n99−1.0 pp5 / 61.000不只是主判断五个条件、全部配对检验的 p 值全部 ≥ 0.227没有一格达到显著。绝对准确率方面四选一 92%–96%开放式 76%–83%——各条件挤在一小片区间里打转。预注册预测的事后核对同样诚实连押自己输的预测也照报预测结果document域 hint 明显胜出❌ 打平ecommerce域 hint 小幅胜出❌ 打平合成题大概率已饱和✅ 30/30 全对零区分度开放式改造大概率救不了这套评测✅ 确实没救成评测文档里有一句话总结得很狠一个哪里都赢的评测是设计失败不是好消息。反过来说一个哪里都没赢的结果只要设计干净也是有价值的。上图正是被评测的那类真实场景agent 用glance -q对一张游戏地图截图做多轮提问逐步提取场景、对话与叙事细节。评测要回答的就是换了 prompt这种场景会答得更好吗——答案是在单图问答这一层测不出来。零结果里仍然站得住的三条结论没测出增益不等于什么都没学到。这场评测换回了三条干净的正面结论1. hint 不是靠写得更长赢的。这是唯一被正面证实的机制主张hint条件的描述反而更短2108 字 vs 2284 字、视觉 token 更少2741 vs 2763还让答题模型少推理 9%765 vs 845 token。hint 只是让模型多写、所以撞对更多这个替代解释被排除了——它是更省的那一条只是省下来的部分没换成可测的准确率。2. 文字中转的代价第一次有了具体数字3.2 倍延迟、2.1 倍 token。native直接看图 2.4 秒 / 1645 tokenhint走文字中转 7.6 秒 / 3506 token而准确率差 2.3 pp 不显著。这个数字可以直接写进文档帮用户做取舍。3. 在有明确问题的单图问答上prompt 工程测不出增益。注意这句话自带边界——每条题都附带一个明确问题问题本身就锚定了描述该找什么替代了 hint 的一部分作用。真实场景不长这样用户粘一张 CI 失败截图说修一下没人说请注意第 87 行的 Expected 值。这一点在设计时就是预注册的解读限制不是事后找补。这道零结果划出了哪些边界这场评测对 agent-vision-toolkit 做的第一件事是约束了 README 能怎么写✅ 可以写focus hint 让描述贴合任务、更短更省已被证实✅ 可以写文字中转相对原生多模态的代价约 3.2× 延迟 / 2.1× token首次量化的数字❌ 不能写hint 提升端到端准确率230 题测不出来。第二件事是给结论画了外推边界。机制层单图问答的零结果明确不得外推到任务层——它测不到追问依从性、测不到多轮看图、更测不到任务成败。这个边界不是遮羞布而是把下一层该测什么逼了出来题库为什么不够灵敏四选一有天花板效应130 题里只有 10 题被任一条件答得不同开放式改造把可区分题从 10/100 提到 20/99但连native直接看图都答错的歧义题从 1 道涨到 10 道——CaptionQA 的题面本来就是配合选项才完整抽掉选项不是变难是变含糊。教训一句话标准答案必须来自生成源不能来自标注。于是有了下一层设计 research/task-eval/DESIGN.md截图由 HTML 源码渲染、标准答案就是源码里的字面量、判分全靠verify.sh脚本、不设一个 LLM judge每个 (任务, 条件) 跑 3 次抵消 agent 循环的随机性且预注册了一条反向预测——工具增益很小或为零赌的是触发信号本身agent 不知道缺东西就不会去回查。还有两条边界来自更早期的定性证据research/2026-08-03-hint-ab-comparison.md 的同图 A/B 显示无 hint 的描述会编造不存在的图标内容n1只作机制解释不作频率断言template场景模板在 19 题上全平但因 16 题落在饱和子集里模板不必加回来既没被支持也没被推翻——该说的就是不知道。上图的任务层能力UI 还原正是机制层评测覆盖不到的部分——它依赖多轮裁剪、对比、回查而不是单次描述质量。这也是为什么结论被严格限制在单图问答这一层。对使用者的实际意义如果你正在评估或已经在使用 agent-vision-toolkit这场评测给出的使用边界可以浓缩成三句话看单张图、问题明确这张图主色调是什么、读出这个报错文字中转通道足够用且 hint 通道更省 token追求极致延迟与成本原生多模态模型直连更快2.4s vs 7.6s、更省1645 vs 3506 token差距约 2–3 pp 准确率不显著复杂多轮视觉任务UI 还原、GUI 操作、长截图 OCR机制层零结果不构成限制这类能力靠glance/ground/detect等 CLI 工具与 vision-skills 中的任务 playbook 支撑效果可见 README_CN.md 的实际效果一节。诚实的零结果的价值不在于证明了什么而在于把能声称什么和不能声称什么划清了线——这正是预注册评测最该交付的东西。赞分享人工智能AI 技能计算机视觉OCRGUI 自动化大模型DeepSeek【免费下载链接】agent-vision-toolkit为纯文本模型看图“设计更好的视觉工具箱和技能支持多图理解图片问答前端UI还原、GUI 自动化等并可选无缝接入多个主流agent直接识别粘贴图片 A vision toolkit and skill designed for text-only llms — image QA, long-screenshot OCR, frontend UI restoration, and GUI automation, with optional seamless integration for Codex, Claude Code, Pi, Oh My Pi, and OpenCode项目地址https://gitcode.com/Anionex/agent-vision-toolkit点击查看免费下载相关推荐一次诚实的零结果实验agent-vision-toolkit focus hint 机制层评测230 道题一次诚实的零结果实验agent vision toolkit focus hint 机制层评测230 道题 agent vision toolkit 是面openjev v5 结果解读Qwen3.5-4B 交叉编码器的类型化决策、JevBench 评测与诚实边界openjev v5 结果解读Qwen3.5 4B 交叉编码器的类型化决策、JevBench 评测与诚实边界 openjev 是一个将 Qwen3.5 解码器人工智能大模型多模态微调NLP终极指南如何用Cartography实现Swift Auto Layout多边界约束测试 终极指南如何用Cartography实现Swift Auto Layout多边界约束测试 Cartography是一个强大的Swift声明式Auto L移动开发上一篇ByT5与OpenMind框架集成昇腾生态下的AI开发最佳实践下一篇终极keras-rl部署指南快速将训练好的强化学习模型应用到实际项目创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考