2026-08-28·by Sijie Wang#cybernetics#principles

site-audits-where-checking-is-cheap

把审计点设在检查便宜的地方

上级:principles

好的审计点,是那种检查在审计者的上下文里既便宜又确定的地方。 不是抽象意义上的便宜——是在审计者实际能看见的东西之下便宜。

便宜是前提条件,不是加分项

如果验证的代价和生成一样大,审计者就只是第二个生成者,你买到的是一张选票,不是一份保证。正是这种成本不对称,才让audit-as-membrane能够终止验证的无穷回归:穿越那一瞬间执行的检查便宜到不需要再被认证。抽掉不对称,膜就退化回一个节点,回归重新开始。

那个限定语才是承重的部分

便宜不是谓词本身的属性。它是谓词相对于审计者上下文里有什么的属性。"平均音量高于 −50 dB",在你手握渲染好的文件时是一次查表,在你手握一份计划时是一次模拟。

所以audit-the-artifact是一条推论,不是一条独立的定律。 审计真实产物的理由不只是诚实——而是产物本身让检查变便宜。描述会让每一个检查都变贵,因为要回答关于它的任何问题,都得先把它所描述的东西重建出来。

这也拓宽了"产物"的范围:一张注册表单、一个客服入口、一个在线端点。凡是检查能冲着它跑、而不是关于它跑的东西,都算。

是三条轴,不是两条

又便宜又确定的检查,也正是最容易被空洞满足的。has_audio_stream: true 便宜、确定,而且恰恰就是那个陷阱;只有 audible 才抓到了那条无声音轨。

  • 便宜——审计者能在自己的上下文里跑完
  • 确定——膜仍然只是一个垫片;不把误差条带进可信基
  • ——通过集不能比可接受集大太多

便宜 + 确定 + 松 = 一枚亮着绿灯的橡皮图章——比没有检查更糟,因为它制造信心。

便宜的检查会变成 Goodhart 的靶子

一个检查越便宜、越确定,生成方就越会朝着"恰好通过它"去优化。所以选址最好的审计点反而需要同伴:几个不共线的检查,探测不同的失败模式。单独一个便宜的检查,等于一份作弊说明书。

强形式:审计点是造出来的,不是找出来的

如果好的审计点就是检查便宜的地方,那杠杆就不在于更努力地去找地方检查,而在于设计产物的形状,好让检查变便宜

  • 用结构化输出而不是散文 → schema 校验取代阅读理解
  • gates-with-margins → 用带符号的距离取代裸布尔值;仍然确定,而且信息严格更多
  • 结构化裁决 + 确定性的铸造垫片(audit-as-membrane)→ 随机的判官永远拿不到笔

这三条读起来像三条各自独立的工程经验。在这条判据之下,它们是同一招用了三次:通过改变产出物的形状,把昂贵的、非确定的检查,换成便宜的、确定的检查。

推论:按确定性分层

完全确定的检查——schema、grep、退出码、ffprobe——放在最外层,先跑,作为硬闸。随机的检查——视觉判官、模型评审——只在确定层全部通过之后才跑。

这样,可信基所吸收的那个随机成分就永远不在第一道门上,而它前面的一切都是可复现的。audit-as-membrane警告说,把 AI 放进膜里会让信任从绝对量变成一个经过校准的可测量量;分层的作用是决定这件事发生在哪一层,而不是任由它到处发生。

一个有用的否定结论

有些性质根本没有便宜且确定的代理——"这是不是该问的那个问题"、"这读起来像不像人写的"。这条判据在这里的价值是:它会说这里根本不该设审计点。把它交给人、交给抽样、或者交给一次下注,而不是给它套上一层闸门的外衣。一个无法被便宜地检查的闸门,是穿着严谨戏服的表演。


一句话: 审计点存在于检查比制造更便宜的地方——而你要得到更多这样的点,靠的是重塑产物的形状,不是看得更用力。

about this entry

One of sijie's wiki entries. The AI on this site is grounded in the same corpus and answers in sijie's voice, with citations back to entries like this one — answering costs sijie money, so it waits behind a code: enter an access code →