想要掌握如何将大模型的力量发挥到极致吗？叶梓老师带您深入了解 Llama Factory —— 一款革命性的大模型微调工具。
1小时实战课程，您将学习到如何轻松上手并有效利用 Llama Factory 来微调您的模型，以发挥其最大潜力。
CSDN教学平台录播地址：https://edu.csdn.net/course/detail/39987
视频号（直播分享）：sphuYAMr0pGTk27 抖音号：44185842659
现在不少开源视觉语言模型处理复杂图像搜索时总掉链子，要么只会简单推理、套路单一，要么交互轮次少得可怜，碰到需要反复试错探索的任务就歇菜 —— 比如找张图里某个小字，往往没翻几页就放弃了。针对这个问题，字节跳动和香港大学团队提出了 Mini-o3，一套能实现深度多轮推理的视觉搜索系统，就算训练时最多只练 6 轮，测试时照样能推理几十步，还能在高难度视觉任务里拿第一。
要让 Mini-o3 有这本事，核心靠三个关键设计。首先是建了个叫 Visual Probe 的数据集，里面全是高难度视觉搜索题，比如小目标藏在复杂背景里、还有一堆干扰物，像图 4 里找 “OLU86130” 下面的文字，不反复放大探索根本找不着，这就逼着模型练出试错能力。
然后是一套迭代式数据收集流程，先手动写几个多轮推理的示范案例，再让现有视觉语言模型模仿这些案例，生成从思考到操作的完整轨迹 —— 比如先想 “该放大哪块区域”，再执行操作，最后看结果，只留下能答对的轨迹。这样一来，模型刚开始训练就能接触到多样的推理模式，比如深度优先搜索、目标维护这些，不会一上来就只会走捷径。
最关键的是 “超轮掩蔽” 策略。以前训练时，要是模型推理轮次超了限制，就会被硬给 0 分惩罚，结果模型为了不挨罚，总早早瞎猜答案。Mini-o3 反其道而行，把超轮的轨迹 “屏蔽” 掉，不奖也不罚，这样模型就敢放心多推理几步。从图 1 能明显看出来，测试时把最大推理轮次从 4 调到 32，Mini-o3 的准确率还在涨，而没加这个策略的版本（Mini-o3 w/o over-turn mask）准确率一直上不去，足见这招多管用。
实际用起来，Mini-o3 的推理过程特别像人解难题。比如图 2 里找 “CINKER PICTURES” 下面的文字，它会先尝试放大某个区域，发现找错了就退回去换个地方，来来回回试 11 轮，最后才找到 “SHANGHAI”；还有图 9 里找 “PRAKING” 下面箭头方向，也是反复调整放大区域，甚至会纠正自己 “刚才看错字了，应该是 PARKING”，最后确定箭头朝右。这种会试错、会回头的能力，是以前很多模型没有的。
性能上 Mini-o3 更是碾压不少开源对手。看表格 1，在 VisualProbe 的难例测试里，它准确率 48.0%，比第二名 DeepEyes 的 35.1% 高一大截；就算在普通任务比如 V* Bench 上，也能拿到 88.2% 的成绩，跟一些专门优化的模型打平。而且 ablation 实验也证明，少了冷启动数据或者超轮掩蔽，性能会掉不少，比如没超轮掩蔽时，模型平均推理轮次直接从 5.6 降到 3.0，复杂题根本解不了。
值得一提的是，Mini-o3 训练效率还高，把训练轮次上限从 12 降到 6，训练时间从 10 天缩到 3 天， accuracy 却没怎么降。这对想复现或者二次开发的团队来说，门槛低了不少。
- 权重 / 设置：https://huggingface.co/Mini-o3
- 仓库：https://github.com/Mini-o3/Mini-o3
- 论文：https://arxiv.org/abs/2509.07969