序列优化与控制

上级：optimization

优化的对象是一个序列 / 随时间展开 / 在不确定性下——不是单一的静态 x，而是一个策略。

动态规划

• Bellman 方程 V(s)=max_a[r(s,a)+γV(s′)]——价值函数被自指地定义（一个不动点）；
• 价值迭代 / 策略迭代之所以收敛，是因为Bellman 算子是一个 γ-压缩映射（recursion-convergence-contraction）；
• 维度灾难 → 近似动态规划。

最优控制（连续时间）

• 变分法 → Euler–Lagrange 方程（我们在 Holmström 中接触过这一点）；
• Pontryagin 极大值原理——伴随（costate）方程，反向求解（= 反向传播 / 伴随法）；
• Hamilton–Jacobi–Bellman（HJB）偏微分方程——连续时间版本的 Bellman 方程；其解就是价值函数。→ dynamics-to-a-fixed-point。

强化学习

当模型未知、只能靠采样时的动态规划：TD 学习、Q-learning、策略梯度、actor-critic。RL = 通过试错进行的随机最优控制。

在线优化 / 在线学习

• 决策随时间陆续到来，且可能是对抗性的；用遗憾（regret）来衡量（相对于事后看来最优的固定选择而言）；
• 在线梯度下降、FTRL（follow-the-regularized-leader）；
• Bandit 问题（部分反馈下的探索/利用），UCB、Thompson 采样 → MCTS 的 UCT 的核心所在。

鲁棒 / 随机规划

在不确定性下优化：随机规划（取期望）、鲁棒优化（最坏情况）、机会约束（概率化）。

主题

优化的对象是一个在不确定性下、跨越某个时间范围的策略；Bellman 的自指不动点加上压缩性构成了骨架，而这恰恰就是我们递归/收敛这条线索背后的数学。