想要掌握如何将大模型的力量发挥到极致吗叶梓老师带您深入了解 Llama Factory —— 一款革命性的大模型微调工具。1小时实战课程您将学习到如何轻松上手并有效利用 Llama Factory 来微调您的模型以发挥其最大潜力。CSDN教学平台录播地址https://edu.csdn.net/course/detail/39987视频号直播分享sphuYAMr0pGTk27 抖音号44185842659现在不少开源视觉语言模型处理复杂图像搜索时总掉链子要么只会简单推理、套路单一要么交互轮次少得可怜碰到需要反复试错探索的任务就歇菜 —— 比如找张图里某个小字往往没翻几页就放弃了。针对这个问题字节跳动和香港大学团队提出了 Mini-o3一套能实现深度多轮推理的视觉搜索系统就算训练时最多只练 6 轮测试时照样能推理几十步还能在高难度视觉任务里拿第一。Mini-o3 的核心工作流程要让 Mini-o3 有这本事核心靠三个关键设计。首先是建了个叫 Visual Probe 的数据集里面全是高难度视觉搜索题比如小目标藏在复杂背景里、还有一堆干扰物像图 4 里找 “OLU86130” 下面的文字不反复放大探索根本找不着这就逼着模型练出试错能力。然后是一套迭代式数据收集流程先手动写几个多轮推理的示范案例再让现有视觉语言模型模仿这些案例生成从思考到操作的完整轨迹 —— 比如先想 “该放大哪块区域”再执行操作最后看结果只留下能答对的轨迹。这样一来模型刚开始训练就能接触到多样的推理模式比如深度优先搜索、目标维护这些不会一上来就只会走捷径。最关键的是 “超轮掩蔽” 策略。以前训练时要是模型推理轮次超了限制就会被硬给 0 分惩罚结果模型为了不挨罚总早早瞎猜答案。Mini-o3 反其道而行把超轮的轨迹 “屏蔽” 掉不奖也不罚这样模型就敢放心多推理几步。从图 1 能明显看出来测试时把最大推理轮次从 4 调到 32Mini-o3 的准确率还在涨而没加这个策略的版本Mini-o3 w/o over-turn mask准确率一直上不去足见这招多管用。实际用起来Mini-o3 的推理过程特别像人解难题。比如图 2 里找 “CINKER PICTURES” 下面的文字它会先尝试放大某个区域发现找错了就退回去换个地方来来回回试 11 轮最后才找到 “SHANGHAI”还有图 9 里找 “PRAKING” 下面箭头方向也是反复调整放大区域甚至会纠正自己 “刚才看错字了应该是 PARKING”最后确定箭头朝右。这种会试错、会回头的能力是以前很多模型没有的。性能上 Mini-o3 更是碾压不少开源对手。看表格 1在 VisualProbe 的难例测试里它准确率 48.0%比第二名 DeepEyes 的 35.1% 高一大截就算在普通任务比如 V* Bench 上也能拿到 88.2% 的成绩跟一些专门优化的模型打平。而且 ablation 实验也证明少了冷启动数据或者超轮掩蔽性能会掉不少比如没超轮掩蔽时模型平均推理轮次直接从 5.6 降到 3.0复杂题根本解不了。值得一提的是Mini-o3 训练效率还高把训练轮次上限从 12 降到 6训练时间从 10 天缩到 3 天 accuracy 却没怎么降。这对想复现或者二次开发的团队来说门槛低了不少。权重 / 设置https://huggingface.co/Mini-o3仓库https://github.com/Mini-o3/Mini-o3论文https://arxiv.org/abs/2509.07969