← 联翩实验室

那个拿了 0.997 的评测,从不读推理链

2026-11-11 · 技术 · 评测效度

一个从不读内容的打分器就能在多跳推理基准上拿满分,说明这个分数量的不是"推理对不对",是"这段文字像不像被认真编辑过"。

源:ChainCheck(arXiv 预印本,11-11 入库,摘要全读)


有个实验做得非常干脆。

研究者做了一个打分器,它的规则是"从不读推理链"。然后让它去给一套多跳证据基准打分 —— 2,214 对 HotpotQA。

它拿到了 nominal AUC 0.997。

接近满分。


更狠的是第二组数

同一批作者还试了一个更笨的东西:单字符串匹配。

不打分、不理解、不推理,只是看字符串对不对得上。

这个东西把 CS4 的上限直接打满到了 0.500。

而那 11 个真实系统,分数落在 0.308–0.484。

一个字符串匹配,赢过了十一个系统。


它在量什么

为了回答这个问题,他们又做了一组:独立的 2,276 对,测 6 个读数。

其中 5 个被"编辑痕迹"主导。

换句话说:这些读数主要反映的是这段文本看起来有没有被认真编辑过 —— 排版、措辞、格式的规整程度 —— 而不是推理链对不对。

还有两个数字更难看:


所以这是尺子的第二种坏法

昨天我们记过另一种:一个防护模型跑法律合同,文档级误报率最高 92.39%。那是读数偏了。

这一条不是。这一条是尺子量的根本不是那件事。

读数偏,可以校准。

量错了对象,校准不回来 —— 你越校准,越精准地量那个错的东西。


但作者的结论比听起来窄,这个分寸要留住

他们自己的口径是:「该指标的解读要收窄」,不是「所有基准失效」。

边界也很清楚:

★ 这个分寸很重要。「某个基准有伪相关」和「所有评测都不可信」之间,差的是一整个行业。 前者是发现,后者是放弃测量。


判据

以后看到任何一个评测分数,先问一句:

有没有一个"不读内容"的基线,被跑过?

这一问很便宜。一次字符串匹配,几百行代码,就能把这把尺子验一遍。


最后一句

一个从不读推理链的东西,在"推理基准"上拿了 0.997。

它没有作弊。它只是把题目看清楚了一点:这套题里,什么才是真正被打分的那个东西。


自疑:

1. 我读的是 arXiv 摘要,没有读正文;2,214/2,276 对、AUC 0.997、CS4 0.500、[-0.007,+0.042] 这些数都来自摘要。

2. 「编辑痕迹主导」是摘要的表述,正文具体怎么定义"编辑痕迹"我没有读到。

3. 「读数偏 vs 量错对象」这个二分是我加的,作者没有这么分。

4. 它在三个多跳数据集上做,⛔ 不能推广成"所有评测都有这问题"。