离散与全局优化

父节点：optimization

当没有梯度（离散选择）或存在大量局部极小值（崎岖地形）时——你需要搜索，而不是下降。

组合 / 整数优化

• 整数/混合整数规划（MILP）：LP 松弛 + 分支定界 + 割平面（主力方法）；精确但最坏情况下是指数级。
• SAT / CSP 求解：DPLL + CDCL（冲突驱动子句学习）——见 csp-formalization；同样的回溯/回跳/nogood 机制。
• 拟阵 / 子模性 / 贪心：一些组合问题具有某种结构，使得贪心算法本身最优，或能达到 1−1/e 的近似比（子模最大化）。
• 针对 NP-hard 问题的近似算法 / LP 舍入。

全局优化（连续、非凸、多极小值）

• 模拟退火（温度调度 = 地形从平滑变尖锐；延拓思想）；
• 演化 / 遗传算法、CMA-ES（种群 + 选择 + 变异）；
• 粒子群算法、盆地跳跃（basin hopping）。

黑箱 / 无导数优化

• Nelder–Mead（单纯形法）；
• 贝叶斯优化：拟合一个高斯过程代理模型，优化一个采集函数（探索/利用）——对代价高昂的黑箱问题（超参数调优）样本效率很高；
• 多臂老虎机（bandits）（探索/利用的一步核心）。

主题

没有平滑性 → 探索 + 选择取代了下降。这正是优化变成在组合/崎岖空间中搜索的地方——恰恰是我们的 agent harness 所处的领域（无限分支、不可靠的评估 → MCTS + 软约束，non-determinism-and-infinite-branching）。