机器学习——主成成分分析PCA

如上图所示，一共有4个属性，身高（ m为单位），身高（cm）,时速（每小时公里），时速（每小时里），身高的两个属性是相关的，时速的两个属性也是相关的，我们把四组具有相关性的变量转换成了两组不相关的变量，我们把转换后的这2组变量称为它的主成分。说白了，就是这两组变量能够代表这个人的身高特征和骑自行车的特征。

上述例子体现了降维。

维数少了，数据就少了。

在上述的例子中，我们可以用肉眼看出来存在相关性；在实际的数据中，用肉眼可能看不出这些数字的相关性，所以 要通过算法找出哪些特征和哪些特征是线性相关的，这就是主成分要做的事儿。

什么是投影方差最大呢？

这些点向直线作投影，会得到每个点在投影方向上对应的点。所有投影点到原点的距离的平方和最大。

换一种说法，找到一条直线，使得所有点到直线的距离的平方和最短。上图中左边更好