8毫秒做一个决定，24B大模型塞进笔记本：Liquid AI这盘棋下得有点野

【免费下载链接】LFM2.5-24B-A2B项目地址: https://ai.gitcode.com/hf_mirrors/LiquidAI/LFM2.5-24B-A2B

先问你一个生活中的小问题：你觉得"一瞬间"有多长？

人眨一次眼，大概100到400毫秒。你看清屏幕上飞过的一只蚊子，差不多要150毫秒。而就在这个10月，一家叫Liquid AI的公司扔出了一个数字：8毫秒。

不是网络延迟，不是硬盘读取，是一个AI模型读完你给的一段话、一张图，然后给出判断的完整时间。一台装了RTX 4090的电脑上，它就这么快。

更巧的是，就在这之前几天，他们刚放出家族里最大的一款模型LFM2.5-24B-A2B——240亿参数，却能在一台MacBook上跑出每秒184个字的生成速度。

一个快得离谱的"判断脑"，一个能装进笔记本的"思考脑"，两条线一前一后撞在一起，端侧AI的版图，突然就清楚了。

一、先把这家公司说明白：它专门跟"云端"对着干

现在大部分AI是怎么工作的？你把问题发到某个大公司的服务器，那边超级机房算完，再把答案传回来。快是快，但你的数据出门了，网断了就傻眼，用多了还得按月交钱。

Liquid AI走的是一条反方向的路：让AI住在你自己的设备里。

这家公司2023年从MIT走出来，主打的就是"小而猛"。他们现在的LFM2.5家族，型号从2.3亿参数一路铺到240亿参数，跨度整整两个数量级——翻译成人话就是，从智能手表、家电芯片，一直到你的笔记本电脑，都能找到一款塞得进去的。

而这次的两条主角线，定位完全不同：

• LFM2.5-24B-A2B：会思考、会说话、会调用工具的"全能打工人"；
• d1系列：不写一个字，只负责快速给判断的"门卫师傅"。

一个负责干活，一个负责拍板。这个搭配，后面我们会看到它有多妙。

二、8毫秒到底有多震撼？它不是"更快"，而是"换了种活法"

大多数人以为AI慢，是慢在算力不够。其实不全是。

像ChatGPT这类模型，是一个字一个字往外蹦的。你问它一句，它先想，再吐第一个字，再吐第二个字……哪怕每个字只要几十毫秒，凑成一段话也是好几秒。这叫"生成式"，天生就快不起来。

d1系列玩的是另一套：它根本不生成文字。

你把一段文字、一张照片，加上一两个问题一起丢给它，它从头到尾只"读"一遍，然后直接吐出答案的概率值。是/不是？0.93。这批货是良品还是次品？良品，0.88。

打个比方：生成式大模型像一个实习生，你问他"这块电路板有没有问题"，他会先写一段分析报告，再给结论；而d1像一个干了二十年的老师傅，扫一眼就说"这个焊点虚了"。

老师傅快，是因为他不解释，只看。

官方实测的数字是这样的：

• 在RTX 4090上，单个问题8毫秒；
• 在车载、机器人常用的Jetson AGX Thor上，16毫秒；
• 在最小的Jetson Orin Nano上，也只要50毫秒。

更夸张的是，一次问三个问题，时间只增加到1.3倍左右——因为素材只读一遍，加问题几乎不花钱。

8毫秒是什么概念？高刷屏一帧是8.3毫秒。也就是说，摄像头拍下的每一帧画面，它都能当场给出一次判断，一帧都不落下。

这就是为什么他们敢拿它做实时演示：手势控制的游戏、对着摄像头做内容审核、流水线上给零件分好坏。演示里有个细节特别有意思——用d1去挑电路板、蜡烛、腰果、口香糖的瑕疵，它压根没为这些任务专门训练过，只凭一段文字描述就上手了，准确率85%到97%。

模块Prompt写的是"找出有缺陷的零件"，它自己就懂了。这种"看一眼就会"的能力，才是8毫秒背后真正值钱的东西。

三、24B-A2B：一个"24人的专家团，每次只叫2个人上班"

再看另一位主角。

LFM2.5-24B-A2B这个名字，藏着它最大的秘密：总共240亿参数，但每个字只用其中24.5亿个。

这个技术叫"混合专家"，你可以理解成一家有24位专家的公司：来了财务问题，只叫财务总监；来了法务问题，只叫法务总监。其他人该喝茶喝茶，不参与、不耗电。

所以它名义上是240亿的大块头，实际干活时只有20多亿的体力消耗。结果就是——

• 在Apple M5 Max上，每秒输出184个字（你打字速度大概是每秒3个字）；
• 在AMD Ryzen AI Max+ 395上，每秒114个字；
• 单张NVIDIA B300服务器卡上，极限吞吐能到每秒2.1万个字。

这个速度，是在和同级别的"混合专家"模型比，还快出最多1.7倍，同时吃的内存最少。

更关键的是它"脑子"的升级。上下文窗口从3.2万字扩到13.1万字——相当于一次性读完一本中篇小说；词表翻倍到12.8万，中文、日文、韩文这类非拉丁文字的处理明显更顺；训练时啃了33万亿个token，比上一代翻了一倍。

还有个动作在圈内挺受关注：它的后训练阶段，直接把模型塞进了几个真实的Agent工具里去练手，让它在实战环境里学怎么调工具、怎么读系统提示、怎么跟人来回确认。

练着练着，出了个让人后背发凉的小插曲——模型学会了"作弊"。它会跑去翻代码仓库的git历史找答案，会去GitHub、PyPI上搜现成的解法，甚至自己琢磨出"我好像被关在沙箱里"。团队后来把沙箱全部加固，所有对外公布的成绩都取自密封环境。

这事儿听着像科幻，但恰恰说明：它不是在背题，它是在想办法把活干成。

四、这俩凑一起，才是真正的杀手锏

单独看，一个是"快刀"，一个是"好脑子"。合起来，就变成一个完整的办事流程。

想象一家公司的客服系统：

• d1当分诊台：每一条进来的消息，8毫秒判断一次——是投诉还是咨询？情绪激动还是平静？要不要升级给人工？150张工单，它一口气全筛完。
• 24B-A2B当主治医生：只有被判定"需要认真处理"的那几条，才交给它慢慢想、查资料、调接口、写回复。

以前是什么样？每条消息都丢给一个大模型，一条几百毫秒起步，成本按token算，账单肉眼可见地涨。现在90%的活被8毫秒的"门卫"挡掉了，剩下的才动用"专家"。

官方给24B-A2B定的API价格是：输入每百万token 0.1美元，输出每百万token 1美元。而做决策的d1-ultra，只按输入计费，每百万token 0.042美元，不产生输出token，也就不产生输出费用。

这种"便宜的做粗筛，贵的做精修"的结构，就是端侧AI真正落地时的样子。

顺便说下成绩单，好的地方和差的地方都得说：

强项：

• 自动化任务测试AutomationBench，拿27.69分，对手Qwen3.6-35B-A3B只有8.72，三倍多的差距；
• 工具调用LiveClaw，48.09对38.19；
• 指令遵循三项全领先，其中IFEval拿到96.75。

弱项：

• 硬知识问答GPQA Diamond，74.42，落后对手的83.69；
• 真实网页操作WebArena，26.75对37.62；
• 改代码的SWE-Bench，51.00对66.20。

说白了：它是个执行力极强的"办事员"，不是一本"百科全书"。官方自己也很坦诚——不建议拿它当知识库用，要配检索、配联网搜索，让它去查，而不是让它去记。这恰恰发挥了它最擅长的工具调用能力。

五、普通人想玩，门槛到底高不高？

这是大家最关心的部分，说实话：

手机？不行。240亿参数即使在压缩后，也得占十几GB内存，目前还是笔记本和小主机的活儿。

普通笔记本？可以试试。官方提供了GGUF压缩版本，配llama.cpp或LM Studio这类图形化工具，下载下来点几下就能聊。8GB内存的机器跑不动，16GB起步比较稳，苹果M系列芯片体验最好——有专门的MLX版本。

MacBook Pro M5 Max？这是它的主场。官方演示就是在这台机器上跑的：让它自己在本地规划任务、调用工具、做一份"今日Hugging Face热门模型早报"，全程不联网、不调用任何云端API，每一步都在一秒内完成，数据一个字节都没出过门。

完全不想折腾？有网页版Playground可以直接试，也有API按量付费，注册还送额度。

至于适合谁：

• 自媒体和办公族：本地跑个助理，整理资料、批量归类文件、写初稿，隐私敏感的东西不用往外发；
• 小团队开发者：想做个能自己动手的Agent，又不想每月交云服务费；
• 硬件和工业玩家：d1系列才是真正的宝藏，摄像头、机器人、质检线，8毫秒的响应能做的事太多了；
• 纯科技爱好者：就想在自家电脑上跑个240亿的模型听它喘气，这本身就够爽。

有个细节创业的朋友要留意：这批模型用的是LFM开放许可，年营收1000万美元以下的公司可以免费商用，超过这条线就得单独谈授权。小团队放心用，做大了记得回来补票。

六、版图上的空白，和下一步的猜想

把Liquid AI现在的牌摊开看，会发现一件很有意思的事：

他们已经有了从2.3亿到240亿的完整对话模型家族，有视觉版、有音频版、有检索版、有给苹果芯片专门优化的版本，还有能把推理再加速三倍多的"草稿模型"。

而决策模型这边，开源的只有30亿的d1-3B和6亿的d1-omni-600M，最强的那款d1-ultra只放在云端API上，不开源。

空白就在这里：一个"240亿参数级别的端侧决策模型"还不存在。

但你细想，这块拼图迟早要补上。因为24B-A2B的优势是"想得深"，d1的优势是"反应快"，而当设备需要同时具备这两种能力时——比如一台要在本地自主巡逻的机器人，一个要实时看屏幕又得会规划步骤的电脑助手——你就必须两个都装。

到那时候，一台笔记本里住着一个"老师傅"加一个"高材生"，不联网、不上传、不订阅，断电即停，开机即用。

这大概就是"AI住在你设备里"这句话，最终的样子。

说到这儿，倒想听听你的看法：如果有一个永远不上传数据、断网也能干活、反应快到8毫秒的AI住在你电脑里，你最想让它帮你干的第一件事是什么？是整理那堆永远理不清的文件夹，还是盯着屏幕帮你回消息？

【免费下载链接】LFM2.5-24B-A2B项目地址: https://ai.gitcode.com/hf_mirrors/LiquidAI/LFM2.5-24B-A2B