平面中的线性分类器 — VC 维 = 3
上级:examples 前置:learning-theory ——
H、h、打散(shattering);ℝ。
假设类 (权重向量 w,偏置 b):
一条直线把平面切成 +/− 两半(一个假设 = 一刀)。它能打散任意 3 个不共线的点——2³ = 8 种标注全部覆盖——但在 XOR 排布上对 4 个点失败:两个 + 角落在一条对角线上,两个 − 角落在另一条对角线上,而两条对角线在中心相交,所以没有一条直线能把两个 + 分到一侧、两个 − 分到另一侧。
没错,两条直线确实能把 XOR 切开——但"两条直线"是一个不同的、VC 维更高的类。VC 维数的是你这个类里的一个假设能做到什么;对线性分类器来说,那就是一刀直切。
(一般地,线性分类器——齐次半空间加偏置——在 ℝᵈ 中的 VC 维为 d+1。)