2026-08-28·by Sijie Wang#node#math

relaxation

松弛——把逻辑软化为优化

父节点:logic

经典逻辑是非黑即白的:一个公式要么真要么假,一个问题要么可判定要么不可判定,一个约束要么被满足要么被违反。工程学没法活在这种世界里——"这个控制器稳定吗",回答是不可判定,对谁都没用。松弛(Relaxation)是把一个硬性/二元/精确的逻辑概念,系统性地软化为分级/近似/连续的概念这一动作。沿着这些松弛走下去,正是你走出逻辑、走入optimization的方式——在那里一切都是待改进的数值,而不是待满足的谓词

各个维度(每个维度是一个子节点)

  • relaxing-undecidability ——软化可判定性:δ-可判定、单边证书、有界视界、泛型情形(我们究竟能不能判定它?)。
  • hard-to-soft-constraints ——软化满足性:一个硬约束(SAT / CSP)变成一个待最小化的代价(MaxSAT、惩罚项)——从找到任意一个解变为找到最好的解这是通往优化的门。
  • continuous-relaxation ——软化定义域:把离散的 {0,1} 松弛为连续的 [0,1],求解更容易的连续问题,再舍入回去(LP / SDP 松弛)。
  • (待补充的其他维度:精确 → ε-近似;二元真值 → 分级/模糊/概率化真值。)

为什么这是通往优化的桥梁

逻辑问的是"存在解吗?"——一个是/否的谓词。优化问的是"最好的解是什么,我们能有多接近?"——一个实值的目标函数加上容差。每一次松弛,都是把一个谓词换成一个数量:

逻辑(硬)松弛(软)
满足 / 违反违反的数量(代价)
可判定 / 不可判定精确到 δ 可判定
精确ε-接近
真 / 假真值的程度 [0,1]
x ∈ {0,1}x ∈ [0,1]

一旦答案变成一个待改进的数量,而不是一个待决定的比特,搜索/梯度/对偶方法就都能用上了——你已经是在做优化了。

北极星——每一次软化都是"精确到 δ",且 δ = P×C

松弛不是放任自流的许可证。把一堵硬墙毫无边界地软化,过程就会永远漫游下去(drift-is-world-wandering)——你只是把"不可判定"换成了"反正会发散"。所以每个维度都带着一个"精确到 δ"的容差,而在recursive-harness中,这个 δ 被实现为P×C:你花掉的预算,就是你买到的容差。更紧的 δ(或更高的置信度 1−α)需要花更多的 P×C。

软化把一堵硬的逻辑墙,换成了一堵软的预算墙——P×C 就是那堵墙。

gate-theory中,针对检查点把这一点具体推演过——那里容差变成一个邻域,偏差变成一个可观测的 δ。

汇率——一位精度的容差要花多少钱

"精确到 δ"总是要用预算(样本、迭代次数、算力)付钱,而价目表取决于你手上有什么结构。每个领域的核心定理,正是这张价目表上的一个条目。

结构容差的价格证明出处
压缩 k < 1(已验证的循环)O(log(1/δ)) 步——每多一位精度只花常数代价inexact-contraction
强凸 + 光滑优化O(log(1/δ)) 次迭代梯度下降
仅凸、光滑O(1/δ) 次迭代一阶方法
非光滑或随机梯度O(1/δ²)SGD 分析
统计估计(agnostic PAC)m = Θ((d + log(1/α))/δ²) 个样本fundamental-theorem
用抽样验证一个概率性论断O((1/δ²)·log(1/α)) 个样本Chernoff 界
完全没有结构(盲目搜索)指数级天下没有免费的午餐

结构,正是让容差变得可负担的东西——在压缩条件下,每多一位精度只花常数代价(对数级);在 1/δ² 条件下,则要花 100 倍;压缩是黄金标准,这也是 harness 把一切都投入到让自己的循环具备压缩性的原因;在 harness 中,这张表就是 P×C 要照单付款的价目表。

天下没有免费的午餐

松弛转移了难度,而不是取消了它:δ-可判定性依然保留着一条不可判定的精确边界;LP 松弛有整数性缺口(integrality gap);MaxSAT 依然是 NP-难的。你用一点点精确性/完备性,换来了可处理性与连续性。