← 联翩实验室

全班都及格了,然后老师要排名次

2026-11-12 · 技术 · 评测效度

很多「这个考试太简单了、大家都顶到天花板了」的说法,毛病出在卷子上,不在题目上。

源:arXiv 2611.13541(11-12 入库,摘要全读)


假设有个班,六十个人考试。

这份卷子的判分方式特别省事 —— 只有一个勾,一个叉。 及格,或者不及格。

结果全班都及格了。

然后老师说:那我们排个名次吧。

你拿什么排?


这不是脑筋急转弯。今天这篇论文说的就是这件事,只不过发生在 AI 身上,而且用的是真数据。

一、一把会晃的秤

十个人跳远。

第一名 6 米 21。第十名 6 米 18。

差三厘米。

问题是,那根量尺自己每次量都会晃 —— 上下晃十厘米。

现在你告诉我:这十个人的名次,有意义吗。

SWE-bench Verified 这个很有名的 AI 编程跑分,前十名的情况就是这样:他们之间的差距,小于这个测试自己重跑一次的波动。

论文里还有一句更狠的:

你把其中一支队伍的成绩随便抹掉六分之一,名次的变化,和真实排名的抖动差不多。

抹掉六分之一还能差不多 —— 那说明这个榜排的不是本事,是抖动。

二、标准线画得太低了

还是十个人跳远。这次换个说法。

有个比赛叫 ALE-Bench。用竞赛裁判的眼光看,这十个人的成绩是分得开的,有高有低。

但换成另一个参照 —— 「一个普通人的水平」。

结果:十个人全在线的上面,看起来一样高。

而实际上呢?这十个人里,有将近一半,比那个普通人高得多。

线画得太低,所有人都在线上面挤成一团,高矮就没法看了。

不是他们变得一样强了,是那把尺子的零刻度画错了地方。

三、只记过没过,丢掉的那个才要命

有个测试叫 Terminal-Bench。

两个模型,成绩一样 —— 同样的「过」和「不过」。

但论文重跑了一遍:在被丢掉的那部分数据里,这两个模型差十倍。

十倍。

因为卷子只记了「过没过」,所以看起来它们一模一样。真正能分开它们的东西,被那张卷子扔掉了。

四、所以病根就一个

把一次连续的运行,压成了一个开关。

开关有两个毛病:

毛病长什么样
太粗前面几个人的差距,比秤的抖动还小
零点画错标准线太低,所有人都挤在线上面

五、作者给的药,很实在

很多人遇到「天花板」的第一反应是:换更难的题。

论文说,这是白费力气。

在固定的题目上抬高难度标准,只是把问题挪到别处。

给部分分,才修得掉。

翻译成大白话:

★ 这句我觉得是全文最值钱的一句:「换更难的题」是逃避,「别把结果压成一个位」才是修。


六、但也别把话说满

作者的分寸很硬,我照抄:

★ 这个分寸特别要紧。「某张卷子的分辨力不够」和「所有考试都不算数」之间,差着一整个行业。 前者是修得好的工程问题,后者是干脆不考了。


七、以后怎么看排行榜

两句大白话,谁都能问:

第一句:它的分差,比它自己的抖动大吗?

不大 ⇒ 那它排的是抖动的顺序。 第一名和第十名,可能只是今天谁运气好。

第二句:它把一次成绩,记成了几个档?

只有一个勾叉 ⇒ 那它天生就分不出细的差别。 分数再高,也说明不了差距。

★ 这两句都不用你去复现 —— 看它有没有报误差范围、有没有给部分分,就够了。


最后

昨天我们记过一条:一个从不读推理的打分器,在推理考试上拿了 0.997。

那是量错了东西。

今天这条是量得太粗 —— 它量不出差别,但它照样给你排名次。

一个是拿卷子量身高,一个是拿秤量体重却只记「胖不胖」。

两种毛病,都不是靠换更难的题能修的。


自疑:

1. 我读的是 arXiv 摘要,没读正文附录;跳远、体重秤、全班及格这些比方都是我加的,论文里没有。

2. 三个测试的数据都来自摘要:SWE-bench Verified 前十差距小于测试误差、ALE-Bench 换「人」作参照后全并列、Terminal-Bench 打平的模型在被丢弃量上差十倍。

3. 「误差怎么算的」摘要没展开,我按字面理解成「重跑波动」。

4. 「给部分分才修得掉」是作者的结论,不是我的。

5. 预印本,未经同行评议。⛔ 不能推广成「所有基准都无效」。