← 联翩实验室

你那张验收单,是原题还是改过的

2026-11-08

一道闸门最后要有人签字,这是对的。但签字的人凭什么签?他手里那张写着“我们测过了”的单子,测的是原题吗?

先说那道闸

欧洲广播联盟(EBU)和 BBC 做过一次联合研究,结论是:AI 助手在 45% 的案例里把新闻内容讲错了,而且与语种、地域无关。这是同类研究里规模最大的一次。

这项研究之后,BBC 那边立下的一条规矩很干脆:AI 稿,没有编辑签字,不发。

这条规矩干净,也正确。它把责任压回到一个具体的人身上 —— 你不签,它就不出去;你签了,出了问题算你的。

但这道闸要成立,靠的是一个很少有人写出来的前提:签字的人,看得懂,也验得动。

前面那个 45%,是怎么测出来的?是人对着原文一条一条看出来的。这是唯一一种不依赖“卷子”的验收 —— 它测的就是被验的那件东西本身。

那平时我们凭什么签字?

凭一句“我们测过了”。

问题就在这后半句。

把题目改一句,分数就散了

有一份公开评测叫 MaxxBench,2026 年 11 月发布。它做的事很简单:不动题目本身,只改题目的问法。

它取了 89 个 DeepSWE 的现成任务,只改指令,或者只改起始代码。改动的幅度小到什么程度 —— 参考补丁的中位数只增加 17 行,3.5%。对任何一个能干的编码 agent 来说,这种量的修订本该是例行公事。

结果是这样:

测的是什么原来的榜要求改过之后
15 个配置的最高最低分差20.9 个百分点48.3 个百分点
挤在 74% 附近的那六个配置彼此差 不到 1.5 个点散到 23.0 个点
DeepSeek V4.1 Flash74.2%55.6%
Gemini 3.8 Flash73.8%53.4%
Claude Opus 5.574.2%76.4%(涨了)

这里面最值得看的一行是第三行和第五行的对照。

Claude Opus 5.5 和 Gemini 3.8 Flash,在原来那张榜上都是 74% 上下 —— 看起来是同一档的两个选手。要求一改,一个 76.4%,一个 53.4%。23 个点的差,是换一个选型依据的差。

而另外两个在原来那张榜上同样是 74.2% 的,掉了 18.6 到 20.5 个点 —— 注意,这里掉得少的那个也有 18.6。

所以这不是说“榜单都是假的”

必须在这里收住,因为这一步最容易滑。

同一份研究还做了另一件事:它发现原基准里有参考代码的 bug,有的强模型反而因为严格照规范写、加了回归测试,撞上了判分器的边角问题。于是研究方先修掉这些缺陷,再把原来那批提交重评了一遍。

重评的结果:平均分从 65.8% 移到 64.5%,只动了 1.3 个百分点。

也就是说,原基准没那么烂。它的题是活的。

那烂在哪儿?

烂在“分数”这个东西被当成了“可靠性”。

分数从来不等于可靠。分数等于:在这张卷子上、按这套要求、拿到的一次成绩。

这句话听起来像废话。但它有一个要命的推论:你只要把要求换一下,分数就会换一个数。而榜单只登第一个数。

于是回到那支笔

BBC 那条规矩——“AI 稿没有编辑签字不发”—— 站得住,是因为签字的人在看原文。

但绝大多数流程里,签字的人不这么做。他看的是分数、是评测报告、是“准确率 92%”。他在担保内容,其实在担保一张卷子。而那张卷子的题目,随时可以被改一句。

这不是说签字没用。是说:把验收放在签字这一刻,就已经晚了。

能带走的三句

  1. 问“可靠性”之前,先问“在什么条件下”。不问条件的可靠性是一个可以随口说的数 —— 45 可以,74 可以,55.6 也可以。
  2. “分数”不是“可靠性”。分数是一次成绩,可靠性是一个范围。把成绩当范围用,你在不知情的时候,已经把自己的判断外包给了一张卷子。
  3. 验收最脆弱的地方,不在最后那个签字的人,在他手里那张单子怎么来的。加人盯、加一道签字、加一层复核 —— 这些都是在签字之后加东西。麻烦出在签字之前。

我们还没做到什么

写完这篇,我自己有三处没做到的,写在这里,免得以后有人当它做到了。

一、45% 和 23 个点,不是同一个对象。一个是新闻内容被讲错的比例,一个是代码基准上分数的漂移。这里靠“验收都不可靠”这个共同点相连 —— 这是类比,不是论证。我把它明写出来,不藏。

二、MaxxBench 我核的是它的公开研究页全文,不是论文。89 个任务的具体构成、15 个配置的完整名单,我没有逐个核。

三、BBC 那条“无编辑签字不发”,我引的是这项研究之后的处理原则,不是一份逐字可查的编辑部章程。原文请以 BBC 与 EBU 的公告为准。

所以这篇能给的是一个问句,不是一个方法。那个问句是:你那张验收单,是原题还是改过的?

来源