基于因子分析的文本分類.pdf

1、從20世紀90年代以來，伴隨互聯(lián)網的飛速發(fā)展，出現(xiàn)了大量的電子文檔。如何對這些無結構的自然語言文本進行有效的管理和使用成為一個重要的研究問題。一些自然語言的處理技術例如信息檢索、數(shù)據(jù)挖掘、文本分類等快速地發(fā)展起來。 文本分類是信息處理的一個重要研究領域。與其他的分類任務相比，文本分類本身一個最重要的特點是，文本分類通常用詞作為分類的特征。詞的數(shù)目非常大，幾千，幾萬，甚至幾十萬。分類特征非常多，普通的分類器難以很好的完成分類任務。

2、如何有效的減少分類的特征，而同時要保證分類的性能就成為重要的研究內容。特征降維的方法通常分為特征選取和特征抽取兩類。在本文中重點研究了采用因子分析技術進行特征抽取的方法。 潛在語義索引是一種最常用的特征抽取技術，通過對項－文本矩陣的分解，利用詞之間的共現(xiàn)信息來抽取特征，文本表示從原來高維詞空間的文本向量線性映射到潛在語義空間的低維向量。潛在語義索引是一種非常好的特征降維的方法，它可以利用很少的維數(shù)保存文本絕大部分的分類信息，而且

3、能夠去除數(shù)據(jù)集中的噪聲來提高分類的效果。文中對潛在語義索引對于特征降維的能力進行了研究，與常用特征選取方法如信息增益，文檔頻度，互信息等進行了比較分析。實驗結果表明，潛在語義索引是一種很好的降維技術，可以用很少的特征而得到非常好的分類效果。 因為潛在語義索引采用奇異值分解實現(xiàn)，所有的運算都是線性轉換，所以得到的新特征是由原始特征(詞)信息的線性組合得到的。而有些對分類有用的信息是非線性的，潛在語義索引方法無法對這些信息很好的進行

4、表示。 核主成分分析與潛在語義索引很相似，也是一種因子分析技術。核主成分分析通過引入核方法，把文本從詞空間映射到非常高維的特征空間后，再進行主成分分析，抽取非線性特征。核主成分分析能成功的避開潛在語義索引的線性限制，從而能夠抽取到更適合分類的特征。核主成分分析與kNN分類器組合模型取得很好的分類性能。本文選用多項式核函數(shù)，并對多項式核函數(shù)的參數(shù)對分類性能影響進行初步探討。在中文和英文數(shù)據(jù)集上的實驗結果表明，核主成分分析用來作特征