数据挖掘与数据分析（三）—— 探索性数据分析EDA(多因子与复合分析) & 可视化(2)——回归分析(最小二乘法&决定系数&残差不相关)&主成分分析&奇异值分解

回归分析

回归分析确定两种或两种以上变量之间的相互依赖的定量关系的方法

 

线性回归最常见的解法就是最小二乘法

线性回归效果的度量主要有两种：决定系数和残差不相关

决定系数越接近于1，回归效果越好；越接近于0，回归效果越差

右边的式子是多元线性回归的

主成分分析 PCA

主成分分析最重要的作用就是降维

例如这张表中，可以把表看作一个空间，每条数据都是空间中的一个向量。表中有4个属性，每个属性都是一个维度，每个向量都有4个维度

虽然每个向量有4个维度，但是维度也是有主要次要之分的，比如维度A就是一个比较次要的维度，因为通过它我们不能把几个对象区分开，而维度B的区分度就比较大，就可以认为是一个主要的成分

 

步骤

• 求特征协方差矩阵
• 求协方差的特征值和特征向量
• 将特征值按照从大到小的顺序排序，选择其中最大的k个
• 将样本点投影到选取的特征向量上

 

 

 

奇异值分解SVD

Singular Value Decomposition

除了基本的PCA方法，奇异值分解也是一种常用的线性降维与成分提取的思路

奇异值分解也可以认为是一种PCA的方法