那个拿了 0.997 的评测,从不读推理链
2026-11-11 · 技术 · 评测效度
一个从不读内容的打分器就能在多跳推理基准上拿满分,说明这个分数量的不是"推理对不对",是"这段文字像不像被认真编辑过"。
源:ChainCheck(arXiv 预印本,11-11 入库,摘要全读)
有个实验做得非常干脆。
研究者做了一个打分器,它的规则是"从不读推理链"。然后让它去给一套多跳证据基准打分 —— 2,214 对 HotpotQA。
它拿到了 nominal AUC 0.997。
接近满分。
更狠的是第二组数
同一批作者还试了一个更笨的东西:单字符串匹配。
不打分、不理解、不推理,只是看字符串对不对得上。
这个东西把 CS4 的上限直接打满到了 0.500。
而那 11 个真实系统,分数落在 0.308–0.484。
一个字符串匹配,赢过了十一个系统。
它在量什么
为了回答这个问题,他们又做了一组:独立的 2,276 对,测 6 个读数。
其中 5 个被"编辑痕迹"主导。
换句话说:这些读数主要反映的是这段文本看起来有没有被认真编辑过 —— 排版、措辞、格式的规整程度 —— 而不是推理链对不对。
还有两个数字更难看:
- 参考裁判的选择性区间是 [-0.007, +0.042],里面含 0 —— 也就是说,这个差值在统计上分不出和"没有差别"的界限
- 同一个系统,换个批次排布,分数还会变
所以这是尺子的第二种坏法
昨天我们记过另一种:一个防护模型跑法律合同,文档级误报率最高 92.39%。那是读数偏了。
这一条不是。这一条是尺子量的根本不是那件事。
读数偏,可以校准。
量错了对象,校准不回来 —— 你越校准,越精准地量那个错的东西。
但作者的结论比听起来窄,这个分寸要留住
他们自己的口径是:「该指标的解读要收窄」,不是「所有基准失效」。
边界也很清楚:
- 预印本,未经同行评议
- 只在三个多跳数据集上做
- CS4 和 AUC 是两个不同的指标,不能混着说
- 它没说所有评测都坏,它说的是:这类"多跳推理"的分数,可能主要在测文风
★ 这个分寸很重要。「某个基准有伪相关」和「所有评测都不可信」之间,差的是一整个行业。 前者是发现,后者是放弃测量。
判据
以后看到任何一个评测分数,先问一句:
有没有一个"不读内容"的基线,被跑过?
- 跑了,而且分不低 ⇒ 那这个分数衡量的东西,和你以为的不是同一个
- 没跑 ⇒ 那就还不知道它在量什么
这一问很便宜。一次字符串匹配,几百行代码,就能把这把尺子验一遍。
最后一句
一个从不读推理链的东西,在"推理基准"上拿了 0.997。
它没有作弊。它只是把题目看清楚了一点:这套题里,什么才是真正被打分的那个东西。
自疑:
1. 我读的是 arXiv 摘要,没有读正文;2,214/2,276 对、AUC 0.997、CS4 0.500、[-0.007,+0.042] 这些数都来自摘要。
2. 「编辑痕迹主导」是摘要的表述,正文具体怎么定义"编辑痕迹"我没有读到。
3. 「读数偏 vs 量错对象」这个二分是我加的,作者没有这么分。
4. 它在三个多跳数据集上做,⛔ 不能推广成"所有评测都有这问题"。