把审计点设在检查便宜的地方
上级:principles
好的审计点,是那种检查在审计者的上下文里既便宜又确定的地方。 不是抽象意义上的便宜——是在审计者实际能看见的东西之下便宜。
便宜是前提条件,不是加分项
如果验证的代价和生成一样大,审计者就只是第二个生成者,你买到的是一张选票,不是一份保证。正是这种成本不对称,才让audit-as-membrane能够终止验证的无穷回归:穿越那一瞬间执行的检查便宜到不需要再被认证。抽掉不对称,膜就退化回一个节点,回归重新开始。
那个限定语才是承重的部分
便宜不是谓词本身的属性。它是谓词相对于审计者上下文里有什么的属性。"平均音量高于 −50 dB",在你手握渲染好的文件时是一次查表,在你手握一份计划时是一次模拟。
所以audit-the-artifact是一条推论,不是一条独立的定律。 审计真实产物的理由不只是诚实——而是产物本身让检查变便宜。描述会让每一个检查都变贵,因为要回答关于它的任何问题,都得先把它所描述的东西重建出来。
这也拓宽了"产物"的范围:一张注册表单、一个客服入口、一个在线端点。凡是检查能冲着它跑、而不是关于它跑的东西,都算。
是三条轴,不是两条
又便宜又确定的检查,也正是最容易被空洞满足的。has_audio_stream: true 便宜、确定,而且恰恰就是那个陷阱;只有 audible 才抓到了那条无声音轨。
- 便宜——审计者能在自己的上下文里跑完
- 确定——膜仍然只是一个垫片;不把误差条带进可信基
- 紧——通过集不能比可接受集大太多
便宜 + 确定 + 松 = 一枚亮着绿灯的橡皮图章——比没有检查更糟,因为它制造信心。
便宜的检查会变成 Goodhart 的靶子
一个检查越便宜、越确定,生成方就越会朝着"恰好通过它"去优化。所以选址最好的审计点反而需要同伴:几个不共线的检查,探测不同的失败模式。单独一个便宜的检查,等于一份作弊说明书。
强形式:审计点是造出来的,不是找出来的
如果好的审计点就是检查便宜的地方,那杠杆就不在于更努力地去找地方检查,而在于设计产物的形状,好让检查变便宜:
- 用结构化输出而不是散文 → schema 校验取代阅读理解
- gates-with-margins → 用带符号的距离取代裸布尔值;仍然确定,而且信息严格更多
- 结构化裁决 + 确定性的铸造垫片(audit-as-membrane)→ 随机的判官永远拿不到笔
这三条读起来像三条各自独立的工程经验。在这条判据之下,它们是同一招用了三次:通过改变产出物的形状,把昂贵的、非确定的检查,换成便宜的、确定的检查。
推论:按确定性分层
完全确定的检查——schema、grep、退出码、ffprobe——放在最外层,先跑,作为硬闸。随机的检查——视觉判官、模型评审——只在确定层全部通过之后才跑。
这样,可信基所吸收的那个随机成分就永远不在第一道门上,而它前面的一切都是可复现的。audit-as-membrane警告说,把 AI 放进膜里会让信任从绝对量变成一个经过校准的可测量量;分层的作用是决定这件事发生在哪一层,而不是任由它到处发生。
一个有用的否定结论
有些性质根本没有便宜且确定的代理——"这是不是该问的那个问题"、"这读起来像不像人写的"。这条判据在这里的价值是:它会说这里根本不该设审计点。把它交给人、交给抽样、或者交给一次下注,而不是给它套上一层闸门的外衣。一个无法被便宜地检查的闸门,是穿着严谨戏服的表演。
一句话: 审计点存在于检查比制造更便宜的地方——而你要得到更多这样的点,靠的是重塑产物的形状,不是看得更用力。