跳转至

硬间隔 SVM：为什么能令 \(\hat\gamma=1\)、约束怎么就变 \(\ge1\)

  • 章节：第7章 · SVM（间隔最大化 / 解答题核心链条）

疑问

缩放 \(w,b\) 为什么函数间隔会变？"令 \(\hat\gamma=1\)"什么意思？约束怎么变 \(\ge1\)、目标怎么变 \(\min\frac12\lVert w\rVert^2\)？

我悟到的

  • 同一条线有无穷组 \((w,b)\) 写法：方程两边同乘正数等号不变（\(x_1+x_2-2=0\) 与 \(2x_1+2x_2-4=0\) 是同一条线）。把 \((w,b)\to(\lambda w,\lambda b)\)，线没动，函数间隔却按 \(\lambda\) 倍变 → 函数间隔是相对量，大小取决于用哪组参数写。
  • \(\hat\gamma\)（无下标）＝所有点里最小的函数间隔（式 7.4）。"令 \(\hat\gamma=1\)"＝从无穷种写法里选一个方便的标尺，把最近点的函数间隔钉成 1（不是加约束，只是换单位）。
  • 约束推导：原本"每点函数间隔 \(\ge\) 最近点 \(\hat\gamma\)"；最近点 \(=1\) 后，别的点自然 \(\ge1\) → \(y_i(w\cdot x_i+b)\ge1\)。
  • 几何间隔 \(\gamma=\dfrac{\hat\gamma}{\lVert w\rVert}=\dfrac1{\lVert w\rVert}\)；\(\max\gamma=\min\lVert w\rVert=\min\frac12\lVert w\rVert^2\)（\(\frac12\) 与平方为求导方便，解不变）。
  • "帽子"只是区分函数间隔 \(\hat\gamma\) / 几何间隔 \(\gamma\) 的记号，与统计学无偏估计无关。

易错点

  • 函数间隔是相对量，不能当真实远近；几何间隔才是物理距离。
  • \(\hat\gamma\) 是最小值，不是任取一点；约束 \(\ge1\) 正由"最小 \(=1\)"推来。
  • "令 \(\hat\gamma=1\)"不影响解（式 7.11 的等价变形）。

出处

课本 p.96 定义 7.2（式 7.3/7.4）、缩放 2w2b 超平面不变函数间隔翻倍；p.97 定义 7.3（式 7.5/7.8）；p.98 式 7.11→7.13/7.14、"可取 \(\hat\gamma=1\)"。相关：[[硬间隔SVM-支持向量与间隔2除以w]]、[[对偶问题与KKT]]。