grounding-in-logprobs

把希腊字母落地到 token 概率上

上级:recursive-harness

这套理论跑在 αεδk 这几个量上——它们都是间接测出来的(突变测试、残差比)。但 LLM 在每一步都会吐出真实的数字:逐 token 的 logprob。这些数字能不能反过来喂给理论?能——通过三座桥,但桥前立着一块警示牌。

先说陷阱:token 概率 ≠ 正确概率

三种已知的失效模式:

  • RLHF 破坏校准——基座模型的 logprob 出人意料地校准良好(比如在选择题上);经过 RLHF 之后的模型则严重过度自信(GPT-4 技术报告里那张著名的校准曲线图);
  • 表层形式竞争——同一个意思有无数种说法,序列概率被摊薄在各种改写版本之间;低 P(sequence)P(\text{sequence}) 不等于答错;
  • 流形之外的自信幻觉——恰恰在模型离开自己能力景观(coupling-to-the-learner)的地方,高 logprob 和错误会同时出现。

先把结论摆出来:原始 logprob 只能是预筛选和预算路由器,永远不是验收本身——指标负责提议,闸门负责裁决(soft-identity-transfer的两层规则)。

桥一:语义聚合 → 一个 α̂ 信号

采样 n 个答案,按语义等价聚类(双向蕴含——注意这又是软相等那一套),然后对这些聚类算熵:语义熵(Farquhar 等,Nature 2024)。它破解了表层形式竞争问题,作为幻觉信号远比原始 logprob 靠谱。这正是 coupling-to-the-learner 里"自我一致性作为廉价预筛选"那个想法的严格版本:语义熵低 → 放行;语义熵高 → 在真正花掉验证预算之前,转给更强的闸门或做进一步拆分。

桥二:校准 → 可以进账本的 p

校准误差(ECE)是可测量的,也可以用一小批带标签数据修复(温度缩放、保序回归)。只有经过校准的置信度才配得上碰 root-protocol 里的 α 账本。而 harness 恰好有一份免费的校准数据集:闸门自己的历史裁决——每一次闸门决策都是一个"模型宣称 p,真相是 y"的带标签样本。这是个漂亮的闭环:harness 跑得越久,其学习器给出的数字就校准得越好——闸门自己制造出了让 logprob 变得有意义的那份真值。

桥三:熵定位 → ◇/□ 的 token 级读数

逐 token 的下一词熵曲线带有模态含义:长段低熵 = (上下文逼出唯一延续——惯性);高熵尖峰 = (真正的选择点)modal-status-labels的标签由此获得了一个实数级、token 级的读数。这对预算分配的推论是:把验证力气集中在高熵区段——那才是模型真正做出选择(也真正可能选错)的地方;低熵区段只是在滑行。这同样为阶段内搜索(non-determinism-and-infinite-branching)提供了仪表:分支点 = 熵尖峰。

一个直接的仪表:困惑度作为地形探针

coupling-to-the-learnerε 是一片景观,却没给出量表。任务/上下文在该模型下的困惑度就是一个实值的"熟悉度"探针:困惑度高 = 落在流形之外 = 预期 ε 会高。于是 P×C 里的 P 有了部分仪表化,而先探测再拆分(split-granularity-equilibrium)也多了一个第零步:在真正花掉探测预算之前,先读一下困惑度。

仪表盘扩展(表格):信号 | 喂给谁 | 注意事项

  • 语义熵(n 个样本、聚类、算熵)| 预筛选 α̂、路由 | 要花 n 个样本;聚类需要蕴含判定器
  • 校准后的置信度(ECE 修正)| α 账本 | 需要带标签数据集——用闸门历史;按任务族分别重新校准
  • token 熵曲线 | ◇/□ 标签、验证预算分配 | 熵不总是等于重要性;有些低熵 token 也是承重的
  • 上下文困惑度 | ε 景观探针、P×C | 熟悉度不等于正确性;如果被拿去优化,要警惕 Goodhart 定律

一句话(加粗)

LLM 交付的从来不只是一件成品——它交付的是(成品,一串实数);这串数字经过聚合、校准、定位之后,测出了地形、标出了选择点、指引了预算——但验收权始终属于闸门。

about this entry

One of sijie's wiki entries. The AI on this site is grounded in the same corpus and answers in sijie's voice, with citations back to entries like this one — answering costs sijie money, so it waits behind a code: enter an access code →

grounding-in-logprobs