背景知识

1. 协方差

   $X、Y$$X、Y$为两个一维随机变量，它们的协方差为：

   $$\begin{array}{}\text{(1)}& \begin{array}{rl}\mathrm{cov}(X,Y)& =\mathrm{E}[(X-\mathrm{E}[X])(Y-\mathrm{E}[Y])]\\ & =\frac{\sum _{i=1}^n(x_i-\overline{x})(y_i-\overline{y})}{n-1}\end{array}\end{array}$$

2. 协方差矩阵

   对多维随机变量$\mathbf{X}$$\mathbf{X}$：

   $$\begin{array}{}\text{(2)}& \begin{array}{c}\mathbf{X}={\left(\begin{array}{cccc}{x}_{11}& x_{12}& \cdots & x_{1n}\\ x_{21}& x_{22}& \cdots & x_{2n}\\ ⋮& ⋮& \cdots & ⋮\\ x_{m1}& x_{m2}& \cdots & x_{mn}\end{array}\right)}_{m\times n}=[{\mathbf{X}}_1,{\mathbf{X}}_2,\cdots ,{\mathbf{X}}_n]\\ \text{其}\text{中}，{\mathbf{X}}_i=[x_{1i},x_{2i},\cdots ,x_{mi}]，\text{为}\text{列}\text{向}\text{量}\end{array}\end{array}$$

   计算其两两维度之间的协方差，各协方差组成了一个$n\times n$$n \times n$的矩阵，称为协方差矩阵，记为$\mathrm{\Sigma }$$\Sigma$。矩阵内的元素${\mathrm{\Sigma }}_{ij}$$\Sigma_{ij}$：

   $$\begin{array}{}\text{(3)}& {\mathrm{\Sigma }}_{ij}=\mathrm{cov}(X_i,X_j)=\mathrm{E}\left[(X_i-\mathrm{E}\left[X_i\right])(X_j-\mathrm{E}\left[X_j\right])\right]\end{array}$$

​ 样本协方差矩阵：

​ 若$\mathbf{X}$$\mathbf{X}$的列均值为0，则：

PCA原理

降维概述

不加思索地认为，对矩阵$\mathbf{X}$$\mathbf{X}$通过线性变换降维后，数据越分散，效果越好。如何度量数据的分散程度？各维度的方差越大，数据越分散。概括一下，降维后，各维度方差越大，降维效果越好。

举例：将二维数据降到一维，如果集中到了一点，那么数据就不具备可分性，自然可以认为降维效果不好。说明降维后数据越分散、越具有可分性，降维效果越好。在PCA中，选择“方差”作为衡量数据分散性的指标。

降维概述：给定原始矩阵${\mathbf{X}}_{m\times n}$$\mathbf{X}_{m \times n}$及线性变换矩阵${\mathbf{A}}_{n\times k}$$\mathbf{A}_{n \times k}$，通过$\mathbf{X}\mathbf{A}$$\mathbf{X} \mathbf{A}$线性变换，将矩阵${\mathbf{X}}_{m\times n}$$\mathbf{X}_{m \times n}$由$n$$n$维降到$k$$k$维，得到矩阵${\mathbf{Y}}_{m\times k}$$\mathbf{Y}_{m \times k}$，降维后的维度$k$$k$，又称为主成分个数。

原理推导

假设：

1. 已经对矩阵${\mathbf{X}}_{m\times n}$$\mathbf{X}_{m \times n}$做了标准化，其均值$\mu =0$$\mu = 0$。
2. 矩阵${\mathbf{A}}_{n\times d}$$\mathbf{A}_{n \times d}$为正交矩阵。

首先，考虑求第一主成分：

求${\mathbf{y}}_1$$\mathbf{y}_1$的方差：

优化目标：

定义拉格朗日函数：

求函数$L({\mathbf{a}}_1,\lambda )$$L(\mathbf{a}_1 , \lambda)$对${\mathbf{a}}_1$$\mathbf{a}_1$的导数并令导数为0：

求得：

所以，$\lambda$$\lambda$为协方差矩阵$\mathrm{\Sigma }$$\Sigma$的特征值，${\mathbf{a}}_1$$\mathbf{a}_1$为对应的单位特征向量。

进一步，优化目标可化简为：

假设${\mathbf{a}}_1$$\mathbf{a}_{1}$是$\mathrm{\Sigma }$$\Sigma$的第一大特征值${\lambda }_1$$\lambda_1$对应的单位特征向量，显然，${\mathbf{a}}_1$$\mathbf{a}_{1}$和${\lambda }_1$$\lambda_1$是以上问题的最优解。

然后，考虑求第二主成分：

注意到：

说明，等式约束是等价的。

定义拉格朗日函数：

求函数$L({\mathbf{a}}_2,\lambda )$$L(\mathbf{a}_2 , \lambda)$对${\mathbf{a}}_2$$\mathbf{a}_2$的导数并令导数为0：

将上式左乘以${\mathbf{a}}_1^{\mathrm{T}}$$\mathbf{a}_{1}^{\mathrm{T}}$得：

此式前两项为0，且${\mathbf{a}}_1^{\mathrm{T}}{\mathbf{a}}_1=1$$\mathbf{a}_{1}^{\mathrm{T}} \mathbf{a}_{1} = 1$，所以，$\varphi =0$$\phi=0$。根据$\text{式}(12)$$式(12)$可得：

所以，$\lambda$$\lambda$是协方差矩阵$\mathrm{\Sigma }$$\Sigma$的特征值，${\mathbf{a}}_2$$\mathbf{a}_{2}$为对应的单位特征向量。于是，目标函数：

假设${\mathbf{a}}_2$$\mathbf{a}_{2}$是$\mathrm{\Sigma }$$\Sigma$的第二大特征值${\lambda }_2$$\lambda_2$对应的单位特征向量，显然，${\mathbf{a}}_2$$\mathbf{a}_{2}$和${\lambda }_2$$\lambda_2$是以上问题的最优解。

一般地，${\mathbf{A}}_{n\times d}$$\mathbf{A}_{n \times d}$的第$k$$k$主成分是${\mathbf{y}}_k=\mathbf{X}{\mathbf{a}}_k$$\mathbf{y}_k = \mathbf{X} \mathbf{a}_k$，并且$\mathrm{var}({\mathbf{y}}_k)={\lambda }_k$$\operatorname{var}(\mathbf{y}_k) = \lambda_k$，这里${\lambda }_k$$\lambda_k$为$\mathrm{\Sigma }$$\Sigma$第$k$$k$大的特征值并且${\mathbf{a}}_k$$\mathbf{a}_k$为对应的单位特征向量。

综上所述，为将${\mathbf{X}}_{m\times n}$$\mathbf{X}_{m \times n}$进行降维，只需要求其协方差矩阵的特征向量即可。

PCA求解

协方差矩阵的特征值分解法

1. 数据规范化处理

   将${\mathbf{X}}_{m\times n}$$\mathbf{X}_{m \times n}$做规范化处理，处理后，每一列的均值为0。

   $$\begin{array}{}\text{(21)}& {\mathbf{X}}_{m\times n}=\frac{{\mathbf{X}}_{m\times n}-\text{每}\text{列}\text{均}\text{值}}{\text{每}\text{列}\text{标}\text{准}\text{差}}\end{array}$$

2. 计算协方差矩阵

   $$\begin{array}{}\text{(22)}& \mathrm{\Sigma }=\frac{1}{m-1}{\mathbf{X}}^{\mathrm{T}}\mathbf{X}\end{array}$$

3. 求协方差矩阵的特征值和特征向量

   特征值(从大到小排列)：${\lambda }_1,{\lambda }_2,\cdots ,{\lambda }_k$$\lambda_1,\lambda_2,\cdots,\lambda_k$

   特征向量：${\mathbf{A}}_{n\times k}=[{\mathbf{a}}_1,{\mathbf{a}}_2,\cdots ,{\mathbf{a}}_k],{\mathbf{a}}_i=[a_{1i},a_{2i},\cdots ,a_{ni}{]}^{\mathrm{T}}$$\mathbf{A}_{n \times k} = [\mathbf{a}_1, \mathbf{a}_2, \cdots, \mathbf{a}_k],\mathbf{a}_i = [a_{1i},a_{2i},\cdots,a_{ni} ]^{\mathrm{T}}$

4. 求$k$$k$个主成分

   $$\begin{array}{}\text{(23)}& {\mathbf{Y}}_{m\times k}={\mathbf{X}}_{m\times n}{\mathbf{A}}_{n\times k}\end{array}$$

5. 计算k个主成分的方差贡献率

   $$\begin{array}{}\text{(24)}& \frac{\sum _{i=1}^k{\lambda }_i}{\sum _{i=1}^n{\lambda }_i}\end{array}$$

数据矩阵的奇异值分解算法

给定矩阵${\mathbf{X}}_{m\times n}$$\mathbf{X}_{m \times n}$，并且该矩阵每列均值为0。构造一个新矩阵：

那么：

不难得知，$\mathbf{S}$$\mathbf{S}$为$\mathbf{X}$$\mathbf{X}$的协方差矩阵。

根据SVD分解定理：

所以，$\mathbf{V}$$\mathbf{V}$为协方差矩阵$\mathbf{S}$$\mathbf{S}$的特征向量，同时也是${\mathbf{X}}^{\prime }$$\mathbf{X}^{\prime}$的右奇异矩阵。

至此，将求解矩阵${\mathbf{X}}_{m\times n}$$\mathbf{X}_{m \times n}$协方差矩阵的特征向量，转为求解矩阵${\mathbf{X}}^{\prime }$$\mathbf{X}^{\prime}$的右奇异矩阵。

基于SVD分解的PCA降维求解过程：

1. 构造新矩阵

   $$\begin{array}{}\text{(28)}& {\mathbf{X}}^{\prime }=\frac{1}{\sqrt{m-1}}\mathbf{X}\end{array}$$

2. 对矩阵${\mathbf{X}}^{\prime }$$\mathbf{X}^{\prime}$进行截断奇异值分解

   $$\begin{array}{}\text{(29)}& \begin{array}{c}{\mathbf{X}}^{\prime }\approx {\mathbf{U}}_k{\mathrm{\Sigma }}_k{\mathbf{V}}_k^{\mathrm{T}}\\ \text{其}\text{中}，{\mathbf{U}}_k\text{是}m\times k\text{矩}\text{阵}，{\mathrm{\Sigma }}_k\text{是}k\text{阶}\text{对}\text{角}\text{矩}\text{阵}，{\mathbf{V}}_k\text{是}n\times k\text{矩}\text{阵}\end{array}\end{array}$$

   矩阵${\mathbf{V}}_k$$\mathbf{V}_k$是$k$$k$个样本主成分的线性变换矩阵。

3. 降维：$n$$n$维 $\to$$\rightarrow$ $k$$k$维

   $$\begin{array}{}\text{(30)}& {\mathbf{Y}}_{m\times k}=\mathbf{X}{\mathbf{V}}_k\end{array}$$

示例

问题：给定矩阵$\mathbf{X}$$\mathbf{X}$，从2维降到1维。

降维步骤：

1. 数据标准化处理：减均值，除以标准差

   $$\begin{array}{}\text{(32)}& \begin{array}{c}\mathbf{X}={\left|\begin{array}{cc}-0.91,& -1.83\\ -0.91,& 0\\ 0,& 0\\ 1.83,& 0.91\\ 0,& 0.91\end{array}\right|}_{5\times 2}\end{array}\end{array}$$

2. 求协方差矩阵

   $$\begin{array}{}\text{(33)}& \begin{array}{c}\mathbf{S}={\left|\begin{array}{cc}1.25,& 0.83\\ 0.83,& 1.25\end{array}\right|}_{5\times 2}\end{array}\end{array}$$

3. 求协方差矩阵的特征值和特征向量

   特征值：$[2.08,0.42]$$[2.08,0.42]$

   特征向量：$[[0.71,0.71],[-0.71,0.71]]$$[[0.71,0.71],[-0.71,0.71]]$

4. 求降维后的数据（第一主成分）

   $$\begin{array}{}\text{(34)}& \begin{array}{c}{\mathbf{X}}_{new}={\left|\begin{array}{c}-2.12\\ -0.71\\ 0\\ 2.12\\ 0.71\end{array}\right|}_{5\times 2}\end{array}\end{array}$$

5. 求第一主成分的方差贡献

   $2.08/(2.08+0.42)=0.83$$2.08 / (2.08+0.42) = 0.83$

降维结果可视化：

参考链接

1. PCA与SVD应用中负号问题 - 深海里的猫 - 博客园 (cnblogs.com)
2. 主成分分析（Principle Component Analysis) - swolf的博客 (mrswolf.github.io)
3. 使用numpy来理解PCA和SVD - 知乎 (zhihu.com)
4. CodingLabs - PCA的数学原理