2026-08-28·by Sijie Wang#cybernetics#theory

convergence-needs-an-observable-target

收敛需要一个可观测的目标(而非仅仅是能力足够强的模型)

#thread/agent-loop

观察:真正能够收敛的情形,无一例外都是外部世界交出了完整信息的情形。

/goal 与自我进化——谁在跨越可观测性边界时携带了隐藏状态

  • /goal 之所以有效,是因为 spec 写得越详细,agent 表现就越好——也就是说,你正在把自己的隐藏状态(意图、当前的标准、情绪)外化进这份可观测的 spec 里。 详细程度 = 把潜变量跨边界导出。目标由此变得可识别 → 于是收敛。
  • 自我进化会漂移,是因为它必须从行为反推目标,而驱动这一行为的变量是 agent 观测不到的(情绪、疲劳、情境)——而且信息源本身技能不稳定 / 前后不一致。这个潜变量从未被外化

形式化:收敛要求目标从观测中可识别

设正确行为为 f(X, M),其中 X = agent 观测到的内容,M = 隐藏的情绪/状态(不可观测)。agent 至多只能学到边际分布:

g(X)=EM[f(X,M)X].g(X) = \mathbb{E}_M\big[f(X,M)\mid X\big].
  • g(X) ≠ f(X,M)——它收敛到的是一个在情绪上取平均的版本(一团模糊),而不是真正的目标;
  • 它解释不了的那部分变异(由情绪驱动)在它看来就是不可约的噪声 → 目标是欠定的

所以"它怎么会收敛?"——它确实收敛了,只是收敛到了被混杂的边际分布,而不是真相;隐藏变量在它眼里变成了噪声。这不是采样问题(数据再多,也只是把那团模糊采样得更精确而已)——这是一个可识别性 / 可观测性问题。无论数据多少,真正的目标始终不可识别。

这取代了之前的天花板

recursion-is-a-phase-transition 把天花板设在模型能力上(k < 1 需要一个足够强的模型)。这是第二道、更难突破的天花板:

即便模型能力无限强,也无法收敛到它观测不到的目标。k < 1 需要的不只是一个强模型,还需要一个能从观测中被识别出来的目标。

决定性的分界:隐藏状态有没有被携带跨越可观测性边界?

  • /goal——由人来携带(详细的 spec 把潜变量导出)→ 可识别 → 收敛。
  • 自我进化——没有人携带它;情绪等变量从未进入观测空间 → 不可识别 → 收敛到被混杂的模糊结果。

Ashby:一个控制器无法匹配它观测不到的多样性(情绪的多样性是不可观测的)→ 无法调节 → 无法收敛(control-methods)。这是一个 POMDP(steering-without-control),但更糟——潜变量使得目标本身在 agent 看来是多值的 / 非平稳的。

出路(全都要跨越同一道边界)

  1. 让潜变量变得可观测(给 agent 一个情绪信号 / 显式的用户标签);
  2. 由人来提供目标/goal 这条路径——人充当隐藏状态的传感器);
  3. 只接受收敛到可观测的边际分布(那团模糊——一个退化的目标)。

一句话

收敛受目标可观测性的约束,而不只是受模型能力的约束。每一个能收敛的情形,都是人把完整信息外化跨越了那道边界的情形(/goal:细节越多 → 效果越好)。自我进化从由潜变量驱动的行为中反推目标,因此目标不可识别——它不是没能收敛,而是收敛到了一个按情绪取平均的错误不动点

about this entry

One of sijie's wiki entries. The AI on this site is grounded in the same corpus and answers in sijie's voice, with citations back to entries like this one — answering costs sijie money, so it waits behind a code: enter an access code →