“正在 Qwen 化”：一群程序员用国产底座复刻出决策模型，9B 小模型干翻 27B 大块头

最近 AI 圈有个特别有意思的现象。

9 月中旬，一家叫 TypeSafe 的公司放出了一个叫 Jev 的模型。它不聊天、不写诗、不做 PPT，只干一件事——做选择题。官方给出的数据相当炸裂：比常规大模型快 193.6 倍，价格便宜 444.6 倍，一次判断只要几十到几百毫秒。

消息传开没几天，一群开源开发者就坐不住了。有人统计了 8 个跟进复刻的项目，结果发现一个很微妙的共同点：好几个项目，底座都换成了国产的 Qwen。

有博主直接在标题里写了一句大实话——“正在 Qwen 化”。

这场面，就像当年大家都用同一款发动机造车：外壳各不相同，掀开引擎盖，里面那颗心脏却越来越像。

一、先说清楚：什么叫“决策模型”？

你可以把现在的大模型想象成一个特别能说的学霸。

你问他“这单退款该不该批”，他先给你分析政策、再列举证据、最后写个三百字结论。答案往往是对的，但太慢了，也太贵了。

决策模型完全是另一种性格——像银行柜台后面坐了二十年的老柜员。

你把材料往窗口一递，他扫一眼，抬头就说：“能退。” 或者“不能退，超期了。”

没有解释，没有废话，甚至没有“思考过程”。他脑子里只有一件事：在这几个固定选项里，挑一个最对的。

业内管这个叫“System 1”，快思考；那种写长篇推理的，叫“System 2”，慢思考。

听着简单，但实际上，人在生活里 90% 的判断都是快思考：这条评论要不要删、这个工单该派给谁、这段简历值不值得进面试、这句话有没有违规——全是选择题，不是作文题。

以前我们非得让“作文选手”去做选择题，这才是不划算的地方。

二、Nimble 到底是个啥？一句话：给 Qwen 戴了一副“专科眼镜”

这次的主角叫 Bespoke-Nimble-9B，来自 Bespoke Labs。

它最让人意外的地方是——整个项目只用一天就做出来了。官方自己都坦白：“我们一天就建好了，别指望它没毛刺。”

它长什么样？拆开看特别朴素：

底座是阿里的Qwen3.5-9B，然后在这上面加了一层只有 165MB 左右的“外挂补丁”。底座本体那 180 亿参数一个没动，相当于给一个原本什么都会一点的通才，配了一副专门用来看“证据”的眼镜。

这副眼镜戴上之后，它的工作方式变得极其“抠门”：

• 你给它一段文字（比如一段客服对话、一份合同条款、一条商品描述）；
• 再给它一张“问题清单”（比如：优先级是高还是低？是否需要人工复核？满意度打几分？）；
• 它不出声、不打草稿，直接在心里给每个选项打分，然后把概率吐给你。

注意，它给的是概率，不是嘴硬。

比如它可能告诉你：“这单该退，概率 0.86；不该退，概率 0.14。” 你的系统就可以自己定规矩：低于 0.7 的一律转人工。

这比让大模型拍胸脯说“我确定”，实用太多了。

三、到底有多牛？三个数字最扎心

第一个数字：90.12% 对 66.36%。

在 324 道“考题”上，Nimble 的判断和参考答案一致率是 90.12%。

那它的底座 Qwen3.5-9B 原版是多少？66.36%。

也就是说，同一颗大脑，戴不戴这副眼镜，差距接近 24 个百分点。这已经不是“优化”，是“换了个职业”。

更有意思的是，它还顺手把自家的大哥按在了地上——未经调教的 27B 模型，成绩是 84.88%。

一个 9B 的专科生，赢了一个 27B 的通才 5 个百分点。这就好比一个专门练了三个月点钞的柜员，手速比银行行长快。

当然也得说句公道话：跟 Jev 本尊的 93.21% 比，它还差 3 个点。但 Jev 不开源，Nimble 是 Apache 2.0 协议，权重、数据、训练配方全部摊在桌面上。

第二个数字：106 毫秒。

在 H100 显卡上，它做一次判断的中位数是 106 毫秒，比你眨一下眼还快。

后来 Ollama 把它收进了本地模型库，社区实测中位延迟能干到 33 毫秒，典型值 91 毫秒。什么概念？用户点下“提交”按钮的那一瞬间，后台已经判断完了，人根本感觉不到等待。

在一台 64GB 内存的 M5 Pro 苹果笔记本上，它也能跑，只是慢一些，中位数 444 毫秒——依然比很多人回一条微信快。

第三个数字：255。

最新这版，一道题最多能给你255 个备选答案，而且能一次吃下 8192 个 token 的材料。

255 个选项是什么概念？一家公司全部的产品线分类、一个电商平台所有的一级类目、一套客服系统里的全部工单类型，塞得下。

训练数据也挺实在：12026 条样本，覆盖电商、教育、家居、媒体、公共服务、科研、软件、供应链、旅行、职场十个领域。

四、为什么大家不约而同选了 Qwen？

这才是这篇文章真正想聊的部分。

那 8 个开源复刻项目，路线其实分成了好几派：

有人拿一个轻量的文本编码器从头训，图的是极致快；有人把大模型冻住，只偷看它脑子里的分数；还有人走的是 Nimble 这条路——拿一个开源大模型当底座，微调成决策专家。

而走这条路的，几乎都摸向了 Qwen。

原因并不玄乎，就三条：

一是“给得干脆”。Qwen 系列权重是真开源，能下载、能改、能商用。对小团队来说，这是能不能开工的分水岭。你总不能拿一个只给 API 的模型去“微调”吧。

二是“中文底子好”。这一条对国内开发者是刚需。很多判断任务的材料就是中文的——聊天记录、工单描述、商品标题、用户评论。底座本身中文语感好，微调时就不用花一半力气去补语言课。

三是“生态熟”。工具链、教程、社区踩坑记录全都现成。你想加 LoRA、想量化、想塞进 Ollama、想在 Mac 上跑，都有人趟过路。

打个比方：Qwen 像一套已经通水通电的毛坯房，墙是正的，管道是通的，你拎着设计图就能进场装修。而很多模型要么只给你看样板间照片，要么连门都不让进。

于是出现了一个挺有意思的产业现象——上游做底座的公司，可能在决策模型这条新赛道上，白捡了一波红利。

别人辛辛苦苦做产品、做数据、做评测，最后功劳簿上写着：底座，Qwen。

五、它的“独门配方”，其实是个很笨的办法

Nimble 团队在训练数据上玩了个小花招，我觉得特别值得说，因为它太好懂了。

他们没有让模型去背答案，而是造“双胞胎题”。

举个他们自己给的例子：规则是“只有 Mira 有权批准 42 号账户的退款”。

第一份材料写：这笔退款的唯一授权人签的是Mira。答案是：批准。

第二份材料只改了一个名字：签的是Noah。答案是：不批准。

题干一样、政策一样、句式一样，只有一个人名不同，答案就必须翻面。

这就像医学院考试：两个病人症状几乎一模一样，只有一项指标差了一点点，诊断结果却完全相反。学生要是靠“感觉像”来答题，立刻露馅；只有真的看懂了那条规则，才能分辨出来。

团队用这套办法批量生产了几千对“只差一个事实”的样本，逼着模型学会一件事：到底哪句话才是真正决定答案的证据。

顺带还做了个防作弊检查——把其中一句关键证据删掉，模型必须承认“不知道”，而不是瞎猜。这就避免了很多模型的老毛病：材料里没写，它也能给你编一个。

六、普通人能上手吗？门槛比想象中低，但别抱错期待

先说门槛。

模型本体不小，9B 的权重光存下来就要 18GB 左右，运行时还得更多内存。官方建议：苹果 M 系列芯片、内存最好 64GB；或者一张支持 BF16 的英伟达显卡。

对普通笔记本来说，这不算轻，但也不算遥不可及——不是必须上机房的级别。

更省事的是，Ollama 已经把它收进去了，一行ollama pull nimble就能拉下来在本地跑，不用 API key，不用联网，数据不出门。对隐私敏感的公司，这一点杀伤力很大。

那它能帮你干什么？我列几个最接地气的：

• 客服系统：用户一句话进来，判断是“物流问题”“退款问题”还是“投诉”，直接派给对的组，不用人工分拣；
• 内容审核：这条评论是辱骂、广告还是正常吐槽，同时给出“有多确定”，拿不准的自动转人工；
• AI 助手的大脑：一个 Agent 要调十个工具，先让它判断“这次该用哪个工具”，比让大模型想半天便宜太多；
• 打分评价：一条商品评价是 1 星还是 5 星，一份简历匹配哪个职级，按你定的标准打分，还能算出“期望分数”；
• 规则核对：报销单符合不符合制度、合同条款踩没踩红线，把规章贴进去，让它照章办事。

但有一点必须先泼冷水：它不是聊天机器人。

它不会给你写文案，不会解释“我为什么这么选”，也不会从材料里摘一句话出来给你看。它只会在你给的选项里挑一个。

官方写得很明白：不能生成自由文本、不能处理图片、不能返回嵌套结构、字段之间互相看不见。而且那些概率只是“在给定选项里的相对倾向”，0.9 的把握，不等于 90% 的正确率，上线前必须拿自己的数据重新标定阈值。

它是个判断力极强的“专科医生”，不是万能的家庭医生。

七、这件事真正值得琢磨的地方

我反而觉得，Nimble 最狠的不是那 90.12%，而是它把一整套“怎么造决策模型”的方法论，连同数据一起开源了。

以前这类能力是黑盒：你付费、你调用、你不知道里面怎么想。

现在它变成了一份公开菜谱：底座用什么、数据怎么造、温度怎么调、坑在哪里，全写着。而且从发布到能跑，只花了一天。

这意味着明年这个时候，可能每个行业都会有自己的“判断小模型”：医院的、法院的、银行的、学校的，各自拿一个开源底座，喂上自己的规章和案例，训出一个几百毫秒就能给结论的“老法师”。

而这场竞赛的第一块地砖，很多人不约而同铺的是同一家的。

国产底座这波红利，吃得属实不算冤。

最后抛个问题给大家聊聊：

如果让你训一个“专属判断模型”，你最想让它替你做哪个决定？是帮你筛掉垃圾邮件，还是替你判断孩子作业写完没写完，又或者……帮你决定今晚到底吃啥？

评论区见。