线性回归

模型定义

多元线性回归模型定义如下：

令矩阵$\mathbf{X}$$\mathbf{X}$为：

损失函数为：

求$\hat{\mathbf{w}}$$\mathbf{\hat{w}}$

一阶偏导数为：

在Hessian矩阵为正定矩阵的假设下，令一阶偏导数为0，可得：

因此，只要${\mathbf{X}}^T\mathbf{X}$$\mathbf{X}^{T} \mathbf{X}$可逆，即可通过数值计算的方式直接求得最优参数。

但是，如果不可逆，如何处理？

从不可逆到可逆

因为${\mathbf{X}}^T\mathbf{X}$$\mathbf{X}^{T} \mathbf{X}$是对称矩阵，根据对称矩阵的性质：

因此：

由于${\mathbf{X}}^T\mathbf{X}$$\mathbf{X}^{T} \mathbf{X}$是半正定矩阵，所以，$\mathrm{\Lambda }$$\Lambda$中的元素（特征值）大于等于0。而$\lambda \mathbf{I}$$\lambda \mathbf{I}$的元素都大于0，因此，两者的和一定大于0。

这意味着，对矩阵${\mathbf{X}}^T\mathbf{X}+\lambda \mathbf{I}$$\mathbf{X}^{T} \mathbf{X} + \lambda \mathbf{I}$而言，其特征值（奇异值）都大于0，因此该矩阵一定可逆。

当$\lambda$$\lambda$较小时，可以相信，在数值解中加上$\lambda \mathbf{I}$$\lambda \mathbf{I}$，对最终结果影响不大。

那么，修正后的数值解：

虽然，$\lambda$$\lambda$到底取多少还不确定，但该数值解理论上保证是可求解的。

对于搞数学推导的同学，可以休息了。但是，对于做机器学习的同学，还应该思考，这意味着什么？或者，有哪些启发？

Ridge

数值解带来的启发

已知了数值解，能不能反推，应该将损失函数做哪些修改呢？

此时，从上帝视角，如果定义损失函数：

损失函数对参数求偏导，可得：

令导数为0：

解上式，可得：

该数值解，和原始数值解修正后的结果一致。该过程相当于，给定了答案，猜到了问题。

定义Ridge回归

定义新损失函数：

基于该损失函数求解参数的过程，称作Ridge回归。

等高线

重新认识损失函数。

如果将损失函数从拉格朗日函数的角度去看，则发现：

因此，可以从不等式角度重新审视损失函数：

假设有两个未知变量，对该不等式做等高线，如下图：

其中，红色曲线为$(\mathbf{y}-\mathbf{X}\cdot \hat{\mathbf{w}}{)}^T\cdot (\mathbf{y}-\mathbf{X}\cdot \hat{\mathbf{w}})$$(\mathbf{y} - \mathbf{X} \cdot \mathbf{\hat{\mathbf{w}}})^T \cdot (\mathbf{y} - \mathbf{X} \cdot \mathbf{\hat{\mathbf{w}}})$的等高线，黑色线为${\hat{\mathbf{w}}}^T\hat{\mathbf{w}}\le t(\lambda )$$\hat{\mathbf{w}}^T \hat{\mathbf{w}} \le t(\lambda)$的等高线。最优解在点$A$$A$和点$B$$B$之间的轨迹中间:

1. $\lambda$$\lambda$趋于0：最优解趋于点$B$$B$，如果等于0，相当于没有加入正则项，最优解为点$B$$B$
2. $\lambda$$\lambda$趋于正无穷：最优解趋于点$A$$A$，如果等于正无穷，最优解为点$A$$A$，即所有参数为0

从上图还可以看出，当存在约束的时候，L2正则会倾向同时将参数压小。

Lasso

定义Lasso回归

Lasso对应的损失函数：

等高线

同Ridge，最优解在点$A$$A$和点$B$$B$之间的轨迹中间：

1. $\lambda$$\lambda$趋于0：最优解趋于点$B$$B$，如果等于0，相当于没有加入正则项，最优解为点$B$$B$
2. $\lambda$$\lambda$趋于正无穷：最优解趋于点$A$$A$，如果等于正无穷，最优解为点$A$$A$，即所有参数为0

同Ridge不同的是，从点$A$$A$出发，有一段轨迹在坐标轴上，此时，$w_1$$w_1$的的权重将为0。因此，Lasso可能会将某个维度参数权重压缩为0，也就是所谓的：L1正则化可以做特征选择。

附录

$\mathbf{A}{\mathbf{A}}^T$$\mathbf{A} \mathbf{A}^T$的结果是半正定矩阵

反证法。

设$\mathbf{A}{\mathbf{A}}^T$$\mathbf{A} \mathbf{A}^T$存在负特征值$a,a<0$$a,a<0$，该特征值对应的特征向量为$\mathbf{x}$$\mathbf{x}$。那么：

左右同乘以${\mathbf{x}}^T$$\mathbf{x}^T$：

对上式整理得：

左侧：$({\mathbf{A}}^T\mathbf{x}{)}^T({\mathbf{A}}^T\mathbf{x})\ge 0$$( \mathbf{A}^T \mathbf{x})^T (\mathbf{A}^T \mathbf{x}) \ge 0$

右侧：${\mathbf{x}}^T\mathbf{x}$$\mathbf{x}^T \mathbf{x}$是向量$\mathbf{x}$$\mathbf{x}$自身的模长的平方，而且$\mathbf{x}$$\mathbf{x}$是特征向量，所以非零，所以${\mathbf{x}}^T\mathbf{x}>0$$\mathbf{x}^T \mathbf{x} > 0$，而$a<0$$a<0$，因此，$a{\mathbf{x}}^T\mathbf{x}<0$$a \mathbf{x}^T \mathbf{x} < 0$

左右矛盾，故假设不成立。

因此，$\mathbf{A}{\mathbf{A}}^T$$\mathbf{A} \mathbf{A}^T$是半正定矩阵。

方阵对角化

对称矩阵性质

设$\mathbf{A}={\mathbf{A}}^T$$\mathbf{A} = \mathbf{A}^T$，同时，$\mathbf{A}=\mathbf{P}\mathrm{\Lambda }{\mathbf{P}}^{-1}$$\mathbf{A} = \mathbf{P} \Lambda \mathbf{P}^{-1}$。

1. 特征向量正交：$\mathbf{P}{\mathbf{P}}^T=\mathbf{I}$$\mathbf{P} \mathbf{P}^T = \mathbf{I}$
2. ${\mathbf{P}}^T={\mathbf{P}}^{-1}$$\mathbf{P}^T = \mathbf{P}^{-1}$