應(yīng)用多元統(tǒng)計分析因子分析

1、因子分析Factor Analysis研究相關(guān)陣或協(xié)方差陣的內(nèi)部依賴關(guān)系, 將多個變量綜合為少數(shù)幾個因子,以再現(xiàn)原始變量與因子之間的關(guān)系,例： 心理學(xué)家Charles Spearman (100多 年前), 學(xué)習(xí)成績是由一個智力因子g唯一決定的. 目前考試系統(tǒng): 語言(verbal), 數(shù)學(xué)(mathematical), 邏輯(logical),例：100個學(xué)生的數(shù)學(xué)、物理、化學(xué)、語文、歷史、英語的成績。 智能因子，因子負荷,

2、記：數(shù)學(xué)、物理、化學(xué)、語文、歷史、英語成績分別為：X1, X2, X3, X4, X5, X6 其中 F對所有Xi都起作用的公共因子 (智能因子)-不可觀測; ai表示第i個科目在智能高低因子上的 體現(xiàn), 稱為因子載荷; 是Xi特有的特殊因子,可以把模型推廣到多個因子的情況，如含數(shù)學(xué)推導(dǎo)因子，記

3、憶因子，計算因子等分別記為：F1, F2, …, Fm 其中 F1, F2, …, Fm又被稱為潛在因子， 是相互不相關(guān)不可觀測的， 是對所有Xi都起作用的公共因子 (作用可大可小); aij 稱為因子載荷; 是Xi特有的特殊因子,因子分析的主要應(yīng)用： 1

4、. 尋求內(nèi)部結(jié)構(gòu), 找出少數(shù)幾個因子, 以再現(xiàn)它們與原始變量間的內(nèi)在聯(lián)系2. 用于分類, 對p個變量或n個樣本分類R型因子分析：用變量之間的相關(guān)關(guān)系 對變量或樣本分類Q型因子分析：用樣本之間的相關(guān)關(guān)系 對變量或樣本分類,1. 不是研究自變量和因變量間關(guān)系，而是在探尋可能無法觀察的自變量(因子)的過程中，研究因變量之間

5、的關(guān)系. 回答：A. 找?guī)讉€因子？ B. 因子的含義？C. 因子解釋數(shù)據(jù)的程度？D. 隨機成分解釋數(shù)據(jù)程度 2. 啟發(fā)式Heuristic：不是絕對的模型,正交因子模型,矩陣形式,其中: 可觀測公共因子 不可觀測

6、特殊因子 與 F 互不相關(guān) 因子載荷陣,附頁,由于有方程： 如用標準化的變量X，協(xié)方差陣被換成相關(guān)陣,,附頁,還有 如用標準化的變量X由于系數(shù)ai1, ai2, …, aim 度量了Xi可由F1, F2, …, Fm的線性組合表示的程度, 稱作載荷（loading, 心理學(xué)). 即稱 aij 為第i個變量在

7、第j個因子上的載荷,,附頁,由于其中 是全部公共因子對變量Xi的總方差的貢 獻, 稱為共因子方差. 它反映了變量Xi對 公共因子F的依賴程度, 也稱為變量Xi的 公共度(communalities) 是由與Xi有關(guān)的特定因子產(chǎn)生的方差， 稱為剩余方差,,附頁,在因子載荷陣A中, 求A的各列的平方和 是第j個公共因子Fj對所有變量X的總影

8、 響, 也稱它為公共因子Fj的方差貢獻. 的值越大, 表明Fj對X的貢獻越大. 可以將它們排序，得到公共因子的貢獻排序,,附頁,注1：因子模型作量綱變化X*=CX, 其中C為對角陣有即模型不受量綱影響,,附頁,注2：因子模型做變換 , 其中G為m×m正交陣,有如將 看成公共因子, 則 可看成

9、因子載荷陣, 即公共因子和因子載荷陣不唯一.,,附頁,方差最大的正交旋轉(zhuǎn) (varimax)記 其中而 記 做旋轉(zhuǎn)使p個數(shù)據(jù) 的方差最大,,附頁,幾何解釋：如果記其長度為1, 即夾角余弦它恰好等于變量 與 的相關(guān)系數(shù)？！,,附頁,公共因子不一定是正交的

10、 ---斜交因子模型把公共因子表示成變量的線性組合 ---因子得分,,附頁,因子模型 1. 因子得分的加權(quán)最小二乘估計：2. 假設(shè) 可得到因子得分的最大似然估計（巴特來因子得分）3. 回歸法權(quán)（湯普森因子得分）,,附頁,主成分分析與因子分

11、析的公式上的區(qū)別,主成分分析,因子分析(m<p)SPSS用主成分輸出Component matrix,因子得分 SPSS用主成分輸出中的Component score coefficient matrix (選 Display factor score coefficient matrix) prin1 和f1 的差別在于前者系數(shù)是單位向量,參數(shù)估計方法：1. 主成分法2. 主因子解3. 極大似然法,,附頁

12、,主成分法設(shè)樣本協(xié)方差陣S的特征向量為特征值為 則S有譜分解其中被看作 的主成分分解,,附頁,主因子解對相關(guān)陣R出發(fā), 設(shè) 則有約相關(guān)陣： . 給定對角陣D作初始值可得 , 記其特征向量為特征值為 記用

13、 作為新D，重復(fù)上面計算直到 收斂，稱此分解為主因子解,,附頁,極大似然法在正交因子模型中設(shè)共因子 和特殊因子 服從正態(tài)分布則 來自正態(tài)分布設(shè) 取 似然函數(shù) 中， A和D未知 上述等式滿

14、足似然方程式用迭代方法求極大似然解,,附頁,SPSS數(shù)據(jù)形式,SPSS-因子分析,打開studentscore.sav，選Analyze－Data Reduction－Factor Analysis 進入主對話框；把math、phys、chem、literat、history、english選入Variables，點擊ExtractionA 在Method可選擇 Principal ComponentsB 在Analysis選

15、Covariance matrix （X不做標準化）；選Correlation matrix （X標準化）C 在Display可選unrotated factor soluation和畫碎石圖就選Scree plotD 在Extract選項可以按照特征值的大小選主成分，也可選主成分的數(shù)目Number of factors (2) 之后選Continue。,點擊RotationA 在Method選一個旋轉(zhuǎn)方法如varimaxB

16、在Display選Rotated solution（以輸出和旋轉(zhuǎn)有關(guān)的結(jié)果）和Loading plot（以輸出載荷圖）；之后選Continue點擊Scores，再選擇Save as variables（因子得分就會作為變量存在數(shù)據(jù)中的附加列上）和計算因子得分的方法（比如Regression）；要想輸出Component Score Coefficient Matrix表，就要選擇Display factor score coeffic

17、ient matrix；之后選Continue。這時點OK即可。,這里的Initial Eigenvalues就是這里的六個特征值（數(shù)據(jù)相關(guān)陣的特征值）。頭兩個成分特征值累積占了總方差的81.142%。后面的特征值的貢獻越來越少。,特征值的貢獻還可以從SPSS的所謂碎石圖看出,原始六主成分,用x1, x2, x3, x4, x5, x6來表示math（數(shù)學(xué)）， phys（物理），chem（化學(xué)），literat（語文），history（

18、歷史），english（英語）等變量。選兩個因子f1和f2,如果選兩個有,SPSS輸出為,> 0.806^2+0.353^2= 0.774245> 0.674^2+0.531^2=0.736237> 0.675^2+0.513^2=0.718794,與兩個因子的關(guān)系,旋轉(zhuǎn)后（varmax）,SPSS輸出communalities 和varimax旋轉(zhuǎn)前后component matrix 比較,> 0.806^

19、2+0.353^2= 0.774245> 0.674^2+0.531^2=0.736237> 0.675^2+0.513^2=0.718794,> 0.387^2+0.790^2=0.773869> 0.172^2+0.841^2=0.736865> 0.184^2+0.827^2=0.717785> 0.879^2+0.343^2=0.89029> 0.911^2+0.201^2=