最优化（传统 → 现代）

你已经知道经典数学核心：建立模型 → 在约束下最小化 f(x) → 引入 Lagrangian、乘子 μ/λ、KKT。 这是围绕这个核心、按时代展开的整个领域地图，并说明每个时代为何存在。

主线（为何它不断演化）

最优化每一次演化，都是因为问题打破了上一个时代的某个假设：

1. 经典（classical）——小规模、光滑、凸 → 可精确求解（∇=0、KKT、对偶）。
2. 数值（numerical）——规模太大，没有闭式解 → 迭代（下降法、牛顿法、分裂法）。
3. 随机 / 机器学习（stochastic / ML）——超大规模 + 非凸 + 带噪梯度 → SGD。
4. 离散 / 全局（discrete / global）——没有梯度、组合爆炸、多个极小值 → 搜索。
5. 序贯 / 控制（sequential / control）——在时间维度上、在不确定性下优化 → DP、Bellman、控制、在线学习。
6. 现代前沿（modern frontier）——目标函数本身是被学出来的 / 对抗性的 / 嵌套的 → 双层优化（bilevel）、极小极大（minimax）、最优传输（OT）、学会优化（learn-to-optimize）。

六个分支

• classical-optimization ——你已经知道的那套数学，加上凸优化（可解的核心；凸性就是那条分界线）。
• numerical-methods ——实际怎么求解：一阶/二阶方法、约束求解器、线搜索 / 信赖域、梯度流 ODE 视角。
• stochastic-and-ml-optimization ——Robbins–Monro → SGD/Adam；非凸的深度学习地形。
• discrete-and-global-optimization ——整数/组合优化（分支定界、SAT/CDCL）、元启发式（退火、演化算法）、贝叶斯 / 黑箱优化。
• sequential-and-control ——DP / Bellman、最优控制（Pontryagin / HJB）、强化学习、在线学习（regret、bandits）。
• modern-frontier ——双层 / 元学习、极小极大 / 博弈、最优传输、学会优化、延拓法 / 课程学习。

这为何与控制论主线相连

这就是我们的递归 harness 所栖身的领域：

• 优化器 = 离散化的 ODE，收敛 = 压缩映射 → dynamics-to-a-fixed-point；
• Bellman = 自指的不动点（HJB） → recursion-convergence-contraction；
• 分阶段设关卡（stages-and-gates） = 针对困难优化问题的延拓法 + 分裂法 + 信赖域 → stages-gates-as-hard-optimization；
• Ashby 的必要多样性 = 这一切的上限 → ashby。