因子分析法(自己整理)

1. 1 1931

因子分析法 1.因子分析法简介：

1）因子分析法的提出

“因子分析”的名称于1931年由Thurstone 首次提出，但它的概念起源于二十世纪初Karl Pearson 和Charles Spearmen 等人关于智力测验的统计分析。近年来，随着电子计算机的高速发展，人们将因子分析方法成功地应用于各个领域，使得因子分析的理论和方法更加丰富。

2）因子分析的定义

因子分析的基本目的就是用少数几个因子去描述许多指标或因素之间的联系，即将相关比较密切的几个变量归在同一类中，每一类变量就成为一个因子（之所以称其为因子，是因为它是不可观测的，即不是具体的变量），以较少的几个因子反映原资料的大部分信息。因子分析法(Factor Analysis)就是寻找这些公共因子的模型分析方法，它是在主成分的基础上构筑若干意义较为明确的公因子，以它们为框架分解原变量，以此考察原变量间的联系与区别。

运用这种研究技术，我们可以方便地找出影响消费者购买、消费以及满意度的主要因素是哪些，以及它们的影响力（权重）运用这种研究技术，我们还可以为市场细分做前期分析。

3）与主成分分析的联系

主成分分析主要是作为一种探索性的技术，在分析者进行多元数据分析之前，用主成分分析来分析数据，让自己对数据有一个大致的了解是非常重要的。主成分分析一般很少单独使用：a，了解数据。(screening the data)，b，和cluster analysis一起使用，c，和判别分析一起使用，比如当变量很多，个案数不多，直接使用判别分析可能无解，这时候可以使用主成份发对变量简化。（reduce dimensionality）d，在多元回归中，主成分分析可以帮助判断是否存在共线性（条件指数），还可以用来处理共线性。

1、因子分析中是把变量表示成各因子的线性组合，而主成分分析中则是把主成分表示成个变量的线性组合。

2、主成分分析的重点在于解释个变量的总方差，而因子分析则把重点放在解释各变量之间的协方差。

3、主成分分析中不需要有假设(assumptions)，因子分析则需要一些假设。因子分析的假设包括：各个共同因子之间不相关，特殊因子（specific factor）之间也不相关，共同因子和特殊因子之间也不相关。

4、主成分分析中，当给定的协方差矩阵或者相关矩阵的特征值是唯一的时候，主成分一般是独特的；而因子分析中因子不是独特的，可以旋转得到不同的因子。

5、在因子分析中，因子个数需要分析者指定（spss根据一定的条件自动设定，只要是特征值大于1的因子进入分析），而指定的因子数量不同而结果不同。在主成分分析中，成分的数量是一定的，一般有几个变量就有几个主成分。和主成分分析相比，由于因子分析可以使用旋转技术帮助解释因子，在解释方面更加有优势。大致说来，当需要寻找潜在的因子，并对这些因子进行解释的时候，更加倾向于使用因子分析，并且借助旋转技术帮助更好解释。而如果想把现有的变量变成少数几个新的变量（新的变量几乎带有原来所有变量的信息）来进入后续的分析，则可以使用主成分分析。当然，这种情况也可以使用因子得分做到。所以这种区分不是绝对的。

在算法上，主成分分析和因子分析很类似，不过，在因子分析中所采用的协方差矩阵的对角元素不在是变量的方差，而是和变量对应的共同度（变量方差中被各因子所解释的部分）。

4）因子分析的主要目标和用途

主要目标：数据缩减。

主要用途：1.减少分析变量个数；

2.通过对变量间相关关系探测，将原始变量进行分类

3.即将相关性高的变量分为一组，用共性子代替该组变量;

4.既可以进行探索性因子分析,也可以部分验证因子.

2.因子分析的原理

1）因子分析的基本思想

因子分析可以看成是主成分分析的一种推广。 它的基本目的是，用少数几个因子F1 、F2 、.、Fm 去描述许多变量之间的关系。被描述的变量X1 、X2 、.、Xp 是可以观测的随机变量，即显在变量。而这些因子是不可观测的潜在变量。

因子分析是基于信息损失最小化而提出的一种非常有效的方法。它把众多的指标综合成几个为数较少的指标，这些指标即因子指标。

2)因子的特点

1.因子变量的数量远远少于原始变量的个数；

2.因子变量并非原始变量的简单取舍 ，而是一种新的综合；

3.因子变量之间没有线性关系；

4.因子变量具有明明解释性，可以最大限度地发挥专业分析的作用。

3）因子分析流程图

4）因子分析的模型

因子分析法是从研究变量内部相关的依赖关系出发，把一些具有错综复杂关系的变量归结为少数几个综合因子的一种多变量统计分析方法。它的基本思想是将观测变量进行分类，将相关性较高，即联系比较紧密的分在同一类中，而不同类变量之间的相关性则较低，那么每一类变量实际上就代表了一个基本结构，即公共因子。对于所研究的问题就是试图用最少个数的不可测的所谓公共因子的线性函数与特殊因子之和来描述原来观测的每一分量。

因子分析模型描述如下：

（1）X = (x1，x2，…，xp)￠是可观测随机向量，均值向量E(X)=0，协方差阵Cov(X)=∑，且协方差阵∑与相关矩阵R相等（只要将变量标准化即可实现）。

（2）F = (F1，F2，…，Fm)￠ （m方差矩阵Cov(F) =I，即向量的各分量是相互独立的。

（3）e = (e1，e2，…，ep)￠与F相互独立，且E(e)=0， e的协方差阵∑是对角阵，即各分量e之间是相互独立的，则模型：

x1 = a11F1+ a12F2 +…+a1mFm + e1

x2 = a21F1+a22F2 +…+a2mFm + e2

………

xp = ap1F1+ ap2F2 +…+apmFm + ep

称为因子分析模型，由于该模型是针对变量进行的，各因子又是正交的，所以也称为R型正交因子模型。

其矩阵形式为： x =AF + e .

其中：

x=，A=，F=，e=

这里，

（1）m ￡ p；

（2）Cov(F，e)=0，即F和e是不相关的；

（3）D(F) = Im ，即F1，F2，…，Fm不相关且方差均为1；

D(e)=，即e1，e2，…，ep不相关，且方差不同。

我们把F称为X的公共因子或潜因子，矩阵A称为因子载荷矩阵，e 称为X的特殊因子。

A = (aij)，aij为因子载荷。数学上可以证明，因子载荷aij就是第i变量与第j因子的相关系数，反映了第i变量在第j因子上的重要性。

5）模型的意义

模型中F1，F2，…，Fm叫做主因子或公共因子，它们是在各个原观测变量的表达式中都共同出现的因子，是相互独立的不可观测的理论变量。公共因子的含义，必须结合具体问题的实际意义而定。e1，e2，…，ep叫做特殊因子，是向量x的分量xi(i=1，2，…，p)所特有的因子，各特殊因子之间以及特殊因子与所有公共因子之间都是相互独立的。模型中载荷矩阵A中的元素(aij)是为因子载荷。因子载荷aij是xi与Fj的协方差，也是xi与Fj的相关系数，它表示xi依赖Fj的程度。可将aij看作第i个变量在第j公共因子上的权，aij的绝对值越大(|aij|￡1)，表明xi与Fj的相依程度越大，或称公共因子Fj对于xi的载荷量越大。为了得到因子分析结果的经济解释，因子载荷矩阵A中有两个统计量十分重要，即变量共同度和公共因子的方差贡献。

因子载荷矩阵A中第i行元素之平方和记为hi2，称为变量xi的共同度。它是全部公

共因子对xi的方差所做出的贡献，反映了全部公共因子对变量xi的影响。hi2大表明x的第i个分量xi对于F的每一分量F1，F2，…，Fm的共同依赖程度大。

将因子载荷矩阵A的第j列( j =1，2，…，m)的各元素的平方和记为gj2，称为公共因子Fj对x的方差贡献。gj2就表示第j个公共因子Fj对于x的每一分量xi(i= 1，2，…，p)所提供方差的总和，它是衡量公共因子相对重要性的指标。gj2越大，表明公共因子Fj对x的贡献越大，或者说对x的影响和作用就越大。如果将因子载荷矩阵A的所有gj2 ( j =1，2，…，m)都计算出来，使其按照大小排序，就可以依此提炼出最有影响力的公共因子。

3.因子分析步骤

因子分析的核心问题有两个：一是如何构造因子变量；二是如何对因子变量进行命名解释。因此，因子分析的基本步骤和解决思路就是围绕这两个核心问题展开的。

（i）因子分析常常有以下四个基本步骤：

（1）确认待分析的原变量是否适合作因子分析。

（2）构造因子变量。

（3）利用旋转方法使因子变量更具有可解释性。

（4）计算因子变量得分。

（ii）因子分析的计算过程：

（1）将原始数据标准化，以消除变量间在数量级和量纲上的不同。

（2）求标准化数据的相关矩阵；

（3）求相关矩阵的特征值和特征向量；

（4）计算方差贡献率与累积方差贡献率；

（5）确定因子：

设F1，F2，…， Fp为p个因子，其中前m个因子包含的数据信息总量（即其累积贡献率）不低于80%时，可取前m个因子来反映原评价指标；

（6）因子旋转：

若所得的m个因子无法确定或其实际意义不是很明显，这时需将因子进行旋转以获得较为明显的实际含义。

（7）用原指标的线性组合来求各因子得分：

采用回归估计法，Bartlett估计法或Thomson估计法计算因子得分。

（8）综合得分

以各因子的方差贡献率为权，由各因子的线性组合得到综合评价指标函数。

F = (w1F1+w2F2+…+wmFm)/(w1+w2+…+wm )

此处wi为旋转前或旋转后因子的方差贡献率。

（9）得分排序：利用综合得分可以得到得分名次。

4.关键名词解释

1）因子旋转

建立因子分析模型的目的不仅是找出主因子，更重要的是知道每个主因子的意义，以便对实际问题进行分析。如果求出主因子解后，各个主因子的典型代表变量不很突出，还需要进行因子旋转，通过适当的旋转得到比较满意的主因子。

目的：使因子负荷两极分化，要么接近于0 ，要么接近于1 。

󰀀 常用的旋转方法：

（1）方差最大正交旋转（varimax orthogonal rotation）

（2）斜交旋转（oblique rotation）

（3）方差最大正交旋转（varimax orthogonal rotation）

基本思想：使公共因子的相对负荷（lij/hi2）的方差之和最大，且保持原公共因子的正交性和公共方差总和不变。可使每个因子上的具有最大载荷的变量数最小，因此可以简

化对因子的解释。

2）斜交旋转

因子斜交旋转后，各因子负荷发生了较大变化，出现了两极分化。各因子间不再相互独立，而彼此相关。各因子对各变量的贡献的总和也发生了改变。适用于大数据集的因子分析。

3）因子得分

因子分析模型建立后，还有一个重要的作用是应用因子分析模型去评价每个样品在整个模型中的地位，即进行综合评价。例如地区经济发展的因子分析模型建立后，我们希望知道每个地区经济发展的情况，把区域经济划分归类，哪些地区发展较快，哪些中等发达，哪些较慢等。这时需要将公共因子用变量的线性组合来表示，也即由地区经济的各项指标值来估计它的因子得分。

设公共因子F由变量x表示的线性组合为：

Fj = uj1 xj1+ uj2 xj2+…+ujpxjp j=1，2，…，m

该式称为因子得分函数，由它来计算每个样品的公共因子得分。若取m=2，则将每个样品的p个变量代入上式即可算出每个样品的因子得分F1和F2，并将其在平面上做因子得分散点图，进而对样品进行分类或对原始数据进行更深入的研究。

但因子得分函数中方程的个数m小于变量的个数p，所以并不能精确计算出因子得分，只能对因子得分进行估计。估计因子得分的方法较多，常用的有回归估计法，Bartlett估

计法，Thomson估计法。

（1）回归估计法

F = X b = X (X ￠X)-1A￠ = XR-1A￠ (这里R为相关阵，且R = X ￠X )。

（2）Bartlett估计法

Bartlett估计因子得分可由最小二乘法或极大似然法导出。

F = [(W-1/2A)￠ W-1/2A]-1(W-1/2A)￠ W-1/2X = (A￠W-1A)-1A￠W-1X

（3）Thomson估计法

在回归估计法中，实际上是忽略特殊因子的作用，取R = X ￠X，若考虑特殊因子的作用，此时R = X ￠X+W，于是有：

F = XR-1A￠ = X (X ￠X+W)-1A￠

这就是Thomson估计的因子得分，使用矩阵求逆算法(参考线性代数文献)可以将其转换为：

F = XR-1A￠ = X (I+A￠W-1A)-1W-1A￠

1. 1 1931