容量的代价（偏差–方差）

父节点：vc-dimension 前置知识：learning-theory —— err(h)、ε、m、H。

攀上 ladder 换来更强的表达力，但从来不是免费的。

更多数据：样本复杂度按 VCdim(H)/ε 增长（fundamental-theorem）——在同样的保证下，VC-100 的类所需的数据量约是 VC-1 的 100 倍。
过拟合：在数据量固定的情况下，VC 越高，训练误差与真实误差之间的差距就越大。一个灵活到足以捕捉信号的类，也灵活到足以记住噪声（VC = ∞ 什么都能拟合，却什么都学不到——vc-sin）。

分解

在样本量固定的情况下，你选出的假设的真实误差可以分解为

记 d = VCdim(H)：

\underbrace{\text{true error}}_{\text{want small}} \;\le\; \underbrace{\inf_{h\in H}\text{err}(h)}_{\textbf{bias (approximation)}} \;+\; \underbrace{O\!\left(\sqrt{\tfrac{d}{m}}\right)}_{\textbf{variance (estimation)}}.

偏差（近似误差）：H 中最好的规则离真值有多远。随着 H 变大而缩小。
方差（估计误差）：在有限样本上，你选中的规则相对于类内最优规则能偏离多远。随着 H（经由 VC）变大而增大。

扩大 H 是在两者之间做取舍——因此总误差呈U 形。

杠杆：结构风险最小化

所以要把 VC 提高到刚好能容纳真值为止，不多不少：太低 → 表达不了真值（偏差 / 欠拟合）；太高 → 拟合了噪声（方差 / 过拟合）。选择这个层级——在一条嵌套链 H₁ ⊂ H₂ ⊂ … 中搜索，选出使 训练误差 + 容量惩罚 最小的那一级——就是 Vapnik 的结构风险最小化（SRM），是正则化在理论一侧的祖先。