把希腊字母落地到 token 概率上
这套理论跑在 α、ε、δ、k 这几个量上——它们都是间接测出来的(突变测试、残差比)。但 LLM 在每一步都会吐出真实的数字:逐 token 的 logprob。这些数字能不能反过来喂给理论?能——通过三座桥,但桥前立着一块警示牌。
先说陷阱:token 概率 ≠ 正确概率
三种已知的失效模式:
- RLHF 破坏校准——基座模型的 logprob 出人意料地校准良好(比如在选择题上);经过 RLHF 之后的模型则严重过度自信(GPT-4 技术报告里那张著名的校准曲线图);
- 表层形式竞争——同一个意思有无数种说法,序列概率被摊薄在各种改写版本之间;低 不等于答错;
- 流形之外的自信幻觉——恰恰在模型离开自己能力景观(coupling-to-the-learner)的地方,高 logprob 和错误会同时出现。
先把结论摆出来:原始 logprob 只能是预筛选和预算路由器,永远不是验收本身——指标负责提议,闸门负责裁决(soft-identity-transfer的两层规则)。
桥一:语义聚合 → 一个 α̂ 信号
采样 n 个答案,按语义等价聚类(双向蕴含——注意这又是软相等那一套),然后对这些聚类算熵:语义熵(Farquhar 等,Nature 2024)。它破解了表层形式竞争问题,作为幻觉信号远比原始 logprob 靠谱。这正是 coupling-to-the-learner 里"自我一致性作为廉价预筛选"那个想法的严格版本:语义熵低 → 放行;语义熵高 → 在真正花掉验证预算之前,转给更强的闸门或做进一步拆分。
桥二:校准 → 可以进账本的 p
校准误差(ECE)是可测量的,也可以用一小批带标签数据修复(温度缩放、保序回归)。只有经过校准的置信度才配得上碰 root-protocol 里的 α 账本。而 harness 恰好有一份免费的校准数据集:闸门自己的历史裁决——每一次闸门决策都是一个"模型宣称 p,真相是 y"的带标签样本。这是个漂亮的闭环:harness 跑得越久,其学习器给出的数字就校准得越好——闸门自己制造出了让 logprob 变得有意义的那份真值。
桥三:熵定位 → ◇/□ 的 token 级读数
逐 token 的下一词熵曲线带有模态含义:长段低熵 = □(上下文逼出唯一延续——惯性);高熵尖峰 = ◇(真正的选择点)。modal-status-labels的标签由此获得了一个实数级、token 级的读数。这对预算分配的推论是:把验证力气集中在高熵区段——那才是模型真正做出选择(也真正可能选错)的地方;低熵区段只是在滑行。这同样为阶段内搜索(non-determinism-and-infinite-branching)提供了仪表:分支点 = 熵尖峰。
一个直接的仪表:困惑度作为地形探针
coupling-to-the-learner 说 ε 是一片景观,却没给出量表。任务/上下文在该模型下的困惑度就是一个实值的"熟悉度"探针:困惑度高 = 落在流形之外 = 预期 ε 会高。于是 P×C 里的 P 有了部分仪表化,而先探测再拆分(split-granularity-equilibrium)也多了一个第零步:在真正花掉探测预算之前,先读一下困惑度。
仪表盘扩展(表格):信号 | 喂给谁 | 注意事项
- 语义熵(n 个样本、聚类、算熵)| 预筛选
α̂、路由 | 要花 n 个样本;聚类需要蕴含判定器 - 校准后的置信度(ECE 修正)|
α账本 | 需要带标签数据集——用闸门历史;按任务族分别重新校准 - token 熵曲线 | ◇/□ 标签、验证预算分配 | 熵不总是等于重要性;有些低熵 token 也是承重的
- 上下文困惑度 |
ε景观探针、P×C | 熟悉度不等于正确性;如果被拿去优化,要警惕 Goodhart 定律
一句话(加粗)
LLM 交付的从来不只是一件成品——它交付的是(成品,一串实数);这串数字经过聚合、校准、定位之后,测出了地形、标出了选择点、指引了预算——但验收权始终属于闸门。