目标函数推导

两种距离

$\text{函}\text{数}\text{距}\text{离}：$$函数距离：$

$\text{几}\text{何}\text{距}\text{离}：$$几何距离：$

$\text{性}\text{质}：$$性质：$同比例缩放$(w,b)$$(w,b)$仅影响函数间隔，不会影响几何间隔。

等比例缩放示例：

定义优化目标

$\text{求}\text{解}\text{目}\text{标}：\text{最}\text{小}\text{的}\text{几}\text{何}\text{距}\text{离}\text{最}\text{大}\text{化}$$求解目标：最小的几何距离最大化$

优化目标的含义：对不同的$(w,b)$$(w,b)$，比较最小几何距离，然后选择使得最小几何距离最大的$(w,b)$$(w,b)$作为目标解。

如何对优化目标进行简化？对于给定的$(w,b)$$(w,b)$， $\underset{i}{min}{y}_i(w^T{x}_i+b)$$\underset{i} {\min} y_i(w^T x_i + b)$为任意的正数，同时也对应一个确定的超平面。但是，因为同比例缩放超平面的参数(w,b)并不改变超平面的位置，即同比例缩放后仍是同一超平面，因此，给定一个超平面，可以有无数个$(w,b)$$(w,b)$与之对应。这就意味着，$\text{公}\text{式}（3）$$公式（3）$优化目标的解不唯一，需要增加约束条件，以限定唯一的超平面。

比如，限定${\Vert w\Vert }_2=1$$\left \| w \right \|_2 = 1$，但该约束不能简化$\text{公}\text{式}（3）$$公式（3）$。

实际中采用的约束是限制最小的函数距离为1，即距离超平面最近最近的那个点，其函数距离为1。在该条件下，$(w,b)$$(w,b)$也能唯一被确定。

$\text{加}\text{入}\text{约}\text{束}\text{条}\text{件}\text{后}\text{的}\text{求}\text{解}\text{目}\text{标}：$$加入约束条件后的求解目标：$

几何距离推导

平面方程为${\mathbf{w}}^{T}x+b=0$$\mathbf{w}^Tx+b=0$，点$P^{\ast }$$P^*$为平面上一点，点$P$$P$为平面为一点，向量$P-P^{\ast }$$P-P^*$垂直于平面。

$\therefore P-P^{\ast }=\alpha \mathbf{w}$$\therefore P-P^* = \alpha \mathbf{w}$

两边同时乘以${\mathbf{w}}^T$$\mathbf{w}^T$得：

${\mathbf{w}}^{T}P-{\mathbf{w}}^T{P}^{\ast }=\alpha {\mathbf{w}}^T\mathbf{w}=\alpha {\Vert \mathbf{w}\Vert }_2^2$$\mathbf{w}^TP - \mathbf{w}^TP^* = \alpha \mathbf{w}^T \mathbf{w} = \alpha \left \| \mathbf{w} \right \|_2 ^2$

$\therefore {\mathbf{w}}^{T}P+b=\alpha {\Vert \mathbf{w}\Vert }_2^2$$\therefore \mathbf{w}^TP + b = \alpha \left \| \mathbf{w} \right \|_2 ^2$

$\therefore \alpha =\frac{{\mathbf{w}}^{T}P+b}{{\Vert \mathbf{w}\Vert }_2^2}$$\therefore \large \alpha = \frac{\mathbf{w}^TP + b}{\left \| \mathbf{w} \right \|_2 ^2}$

$\therefore {\Vert P-P^{\ast }\Vert }_2=|\alpha |\cdot {\Vert \mathbf{w}\Vert }_2=\frac{|{\mathbf{w}}^{T}P+b|}{{\Vert \mathbf{w}\Vert }_2^2}\cdot {\Vert \mathbf{w}\Vert }_2=\frac{|{\mathbf{w}}^{T}P+b|}{{\Vert \mathbf{w}\Vert }_2}$$\therefore \left \| P-P^* \right \|_2 = |\alpha| \cdot \left \| \mathbf{w} \right \|_2 = \frac{| \mathbf{w}^TP + b |}{\left \| \mathbf{w} \right \|_2 ^2} \cdot \left \| \mathbf{w} \right \|_2 = \frac{| \mathbf{w}^TP + b |}{\left \| \mathbf{w} \right \|_2 }$

参考文档

1. SVM最大间隔超平面学习笔记及对函数间隔设置为1的思考 - 知乎 (zhihu.com)