ARTICLE DETAIL

资讯详情

深耕网站建设、视觉设计与SEO优化的一线实战洞察。

10月模型榜单能直接横比吗:把检查点、harness和统计口径排在一起

10月模型榜单能直接横比吗:把检查点、harness和统计口径排在一起

两个分数写在同一张图上,未必回答同一个问题。十月的DeepSeek更新日志、Haiku 5.5发布页和Gemini 4 Argon公告都能提供官方信息;在数据子集、工具权限、推理投入和评分框架没有对齐前,不宜将其中数字重新排成本站天梯。

最容易被忽略的是采样口径。pass@1与pass@5衡量的不是同一个预算。五次中任意一次通过,与只给一次机会有明显差别;若后者模型只生成一次,再用前者的分数来比较,排名里混入了机会数量。

先让比较资格通过门禁

下面用两条虚构记录演示比较条件检查,不包含真实厂商成绩。即使任务名相同,harness或pass@k不一致,也应停在“条件不同”。

keys = ("dataset", "split", "harness", "k", "tools", "budget") def mismatches(a, b): return [k for k in keys if k not in a or k not in b or a[k] != b[k]] a = dict(dataset="toy-code", split="v1", harness="h1", k=1, tools="local-only", budget=100) b = dict(a, k=5) c = dict(a, harness="h2") assert mismatches(a, b) == ["k"] assert mismatches(a, c) == ["harness"] assert mismatches(a, dict(a)) == [] print("comparison blocked when sampling or harness differs")

资格通过也不意味着能立即下显著性结论。仍需原始逐题结果,检查题目是否配对、重复采样如何处理、置信区间估计是否合适。单个汇总分无法恢复这些信息,不能反推一个可信的p值。

官方声明与独立复测分别落款

表格中应有来源发布日期、访问日期、模型身份、数据版本、框架、采样次数、工具和预算。接口名可能保持不变而检查点更新;抓取日期又不是模型发布日期。只有厂商汇总时,注明“官方报告”,没有披露的项目留空并解释限制。

对于代码任务,还要看是否允许联网、是否运行额外测试、是否修改评分脚本;视觉任务要看图像或视频处理方式。改动其中任何一项,都可能改变问题难度。评估者访问条件也不是附属事项,Anthropic于10月15日的访问政策更新说明了这一背景,但不等于独立方已经复测全部结果。

读十月榜单的可操作结论是:先用一致条件缩小可比较集合,再研究差异。集合可能很小,甚至为空。这样的结论仍比拼出一张没有共同分母的“综合实力榜”有用。

本文没有运行这些模型,也不提供新排名。实际发稿前应人工重开来源,补更正与版本变化;不能将24—31日尚未核验的事件补成既成事实。

本地验证:上方各 Python 代码块独立保存后,在 Python 3.9.6 的临时目录以python3 example.py执行,退出码均为 0;输出分别为comparison blocked when sampling or harness differs。数据为文中教学夹具,不是模型、GPU或线上性能测量。

核对截止2026-10-23;相关公告日期分别为DeepSeek 10-17、Haiku 10-07、Gemini 10-13、评估者更新10-15。

返回列表