硬间隔 SVM：支持向量、间隔 \(\frac{2}{\lVert w\rVert}\)、\(w\) 是法向量

• 章节：第7章 · SVM（间隔最大化 / 简答+解答）

疑问

\(w\) 是斜率吗？间隔为什么是 \(\frac{2}{\lVert w\rVert}\)？支持向量是什么、为什么只看它们、移动会怎样？

我悟到的

• \(w\) 是法向量（垂直于超平面），不是斜率；模长 \(\lVert w\rVert\) 控制间隔大小。
• 间隔 ＝ 截距差 ÷ 法向量模长 ＝ \(\dfrac{2}{\lVert w\rVert}\)（两条边界 \(H_1:w\cdot x+b=1\)、\(H_2:w\cdot x+b=-1\)）。\(\lVert w\rVert\) 在分母，所以 \(w\) 越小间隔越大。
• 支持向量＝离超平面最近、正好顶在 \(\pm1\) 边界上、使约束等号成立 \(y_i(w\cdot x_i+b)-1=0\) 的点；长带的宽度被这几个点死死顶住（像两块板被顶柱撑开）。可有多个。
• 只有支持向量决定超平面：不碰顶柱时怎么微调都行，一想扩大间隔就被顶柱挡住 → 去掉/移动其他点解不变；移动支持向量则解改变。
• 硬间隔之"硬"：对的必须对、错的必须错，不允许噪声。
• 超平面 ＝ 高维里的平直分界面（二维是直线、三维是平面）。

易错点

• \(w\) 是法向量不是斜率；\(\lVert w\rVert\) 一定在分母，别写成 \(\frac{\lVert w\rVert}{2}\)。
• 只有顶在 \(\pm1\) 边界上的点才是支持向量、才有发言权；边界外的点（包括新点）只要还在外面就不影响解，一旦落到边界上才成为新支持向量。

出处

课本 p.100 "支持向量和间隔边界"：定义、\(H_1/H_2\)、间隔 \(=\frac{2}{\lVert w\rVert}\)、移动支持向量改解 / 去掉其他点不变；几何间隔最大超平面唯一见 p.97。相关：[[硬间隔SVM-为什么令函数间隔等于1]]。