基于空間旋轉的支持向量機改進算法.pdf

1、隨著大數(shù)據(jù)時代的到來，龐大的數(shù)據(jù)量給人們帶來無限商機，也引起了學術界、企業(yè)界及政府機構的高度重視。但數(shù)據(jù)的復雜性和多樣性也導致數(shù)據(jù)價值密度不高，冗余數(shù)據(jù)較多等問題。如何從龐大的數(shù)據(jù)集中提取有效信息以輔助數(shù)據(jù)分析已成為數(shù)據(jù)挖掘和機器學習領域研究的焦點。
　　數(shù)據(jù)挖掘的一個重要研究內(nèi)容是特征選擇和特征提取。其中，主成分分析算法是一種常見的特征提取方法，它通過計算協(xié)方差達到特征提取的目的。支持向量機最初是一種用于對數(shù)據(jù)進行類別劃分和預測

2、的機器學習算法，通過在一個高維空間中尋找一個超平面，使得分布于超平面同一側的數(shù)據(jù)盡可能屬于同一個類別。
　　本文通過對支持向量機算法做深入研究后，發(fā)現(xiàn)支持向量機算法也可以被用于特征提取。借鑒主成分分析算法中的旋轉思想，本文提出了一種基于支持向量機、空間旋轉與坐標投影的特征提取方法;然后用皮爾森相關系數(shù)驗證單個特征的有效性;最后使用主流分類器驗證所提取特征的有效性。
　　實驗結果表明，本算法在樣本集上提取到的前3個特征與分類標

3、簽均有顯著的相關性，而第3個以后的特征與類標簽的相關性極弱。在不同分類器的分類結果中，當使用經(jīng)旋轉空間特征提取算法處理后的特征時，分類結果在77％的樣本集上獲得了比當使用PCA算法處理后的特征時更高的預測正確率，在超過88％的樣本集上獲得了比直接使用源數(shù)據(jù)時更高的預測正確率;特別是當使用樸素貝葉斯算法時，在本算法處理后的特征上比直接在源數(shù)據(jù)上正確率高出近14％;當使用單層決策樹時，在本算法處理后的特征上比在經(jīng)PCA處理后的特征上預測正確