全班都及格了,然后老师要排名次
2026-11-12 · 技术 · 评测效度
很多「这个考试太简单了、大家都顶到天花板了」的说法,毛病出在卷子上,不在题目上。
源:arXiv 2611.13541(11-12 入库,摘要全读)
假设有个班,六十个人考试。
这份卷子的判分方式特别省事 —— 只有一个勾,一个叉。 及格,或者不及格。
结果全班都及格了。
然后老师说:那我们排个名次吧。
你拿什么排?
这不是脑筋急转弯。今天这篇论文说的就是这件事,只不过发生在 AI 身上,而且用的是真数据。
一、一把会晃的秤
十个人跳远。
第一名 6 米 21。第十名 6 米 18。
差三厘米。
问题是,那根量尺自己每次量都会晃 —— 上下晃十厘米。
现在你告诉我:这十个人的名次,有意义吗。
SWE-bench Verified 这个很有名的 AI 编程跑分,前十名的情况就是这样:他们之间的差距,小于这个测试自己重跑一次的波动。
论文里还有一句更狠的:
你把其中一支队伍的成绩随便抹掉六分之一,名次的变化,和真实排名的抖动差不多。
抹掉六分之一还能差不多 —— 那说明这个榜排的不是本事,是抖动。
二、标准线画得太低了
还是十个人跳远。这次换个说法。
有个比赛叫 ALE-Bench。用竞赛裁判的眼光看,这十个人的成绩是分得开的,有高有低。
但换成另一个参照 —— 「一个普通人的水平」。
结果:十个人全在线的上面,看起来一样高。
而实际上呢?这十个人里,有将近一半,比那个普通人高得多。
线画得太低,所有人都在线上面挤成一团,高矮就没法看了。
不是他们变得一样强了,是那把尺子的零刻度画错了地方。
三、只记过没过,丢掉的那个才要命
有个测试叫 Terminal-Bench。
两个模型,成绩一样 —— 同样的「过」和「不过」。
但论文重跑了一遍:在被丢掉的那部分数据里,这两个模型差十倍。
十倍。
因为卷子只记了「过没过」,所以看起来它们一模一样。真正能分开它们的东西,被那张卷子扔掉了。
四、所以病根就一个
把一次连续的运行,压成了一个开关。
开关有两个毛病:
| 毛病 | 长什么样 |
|---|---|
| 太粗 | 前面几个人的差距,比秤的抖动还小 |
| 零点画错 | 标准线太低,所有人都挤在线上面 |
五、作者给的药,很实在
很多人遇到「天花板」的第一反应是:换更难的题。
论文说,这是白费力气。
在固定的题目上抬高难度标准,只是把问题挪到别处。
给部分分,才修得掉。
翻译成大白话:
- 换更难的题 = 把体重秤换成更精细的秤,但你还是只记「胖不胖」
- 给部分分 = 终于开始记「多少斤」
★ 这句我觉得是全文最值钱的一句:「换更难的题」是逃避,「别把结果压成一个位」才是修。
六、但也别把话说满
作者的分寸很硬,我照抄:
- 它打的是 「把连续的分数压成一个勾叉」这一类做法 —— ⛔ 不是「所有考试都不可信」
- 本来就是勾叉的任务,它管不着(做没做成,本来就只有两种结果)
- 作者自己新做的那套分数,只在一个测试上重跑验证过
- 而且这是预印本,还没被同行挑过错
★ 这个分寸特别要紧。「某张卷子的分辨力不够」和「所有考试都不算数」之间,差着一整个行业。 前者是修得好的工程问题,后者是干脆不考了。
七、以后怎么看排行榜
两句大白话,谁都能问:
第一句:它的分差,比它自己的抖动大吗?
不大 ⇒ 那它排的是抖动的顺序。 第一名和第十名,可能只是今天谁运气好。
第二句:它把一次成绩,记成了几个档?
只有一个勾叉 ⇒ 那它天生就分不出细的差别。 分数再高,也说明不了差距。
★ 这两句都不用你去复现 —— 看它有没有报误差范围、有没有给部分分,就够了。
最后
昨天我们记过一条:一个从不读推理的打分器,在推理考试上拿了 0.997。
那是量错了东西。
今天这条是量得太粗 —— 它量不出差别,但它照样给你排名次。
一个是拿卷子量身高,一个是拿秤量体重却只记「胖不胖」。
两种毛病,都不是靠换更难的题能修的。
自疑:
1. 我读的是 arXiv 摘要,没读正文附录;跳远、体重秤、全班及格这些比方都是我加的,论文里没有。
2. 三个测试的数据都来自摘要:SWE-bench Verified 前十差距小于测试误差、ALE-Bench 换「人」作参照后全并列、Terminal-Bench 打平的模型在被丢弃量上差十倍。
3. 「误差怎么算的」摘要没展开,我按字面理解成「重跑波动」。
4. 「给部分分才修得掉」是作者的结论,不是我的。
5. 预印本,未经同行评议。⛔ 不能推广成「所有基准都无效」。