基于概念空間的文本分類的應用研究.pdf

1、隨著文本信息的快速增長,特別是Internet上在線信息的增加,文本(網(wǎng)頁)分類顯得越來越重要。由于文本分類有助于用戶有選擇地閱讀和處理海量文本,可以在較大程度上解決目前網(wǎng)上信息雜亂的現(xiàn)象,方便用戶準確地定位所需的信息和分流信息,因此,文本自動分類已成為一項具有較大實用價值的關鍵技術,是組織和管理數(shù)據(jù)的有力手段.文本分類的方法分為兩類:一是基于知識的分類方法;二是基于統(tǒng)計的分類方法?；谥R的文本分類系統(tǒng)應用于某一具體領域,需要該領域的

2、知識庫作為支撐,由于知識提取、更新、維護以及自我學習等方面存在的種種問題,使得它適用面較窄。而基于統(tǒng)計的分類方法由于采用純粹的數(shù)學運算,不苛求復雜的語言學知識和領域知識,以及在實際應用中所體現(xiàn)出來的良好效果,成為目前流行的文本分類方法?，F(xiàn)在廣泛應用的基于統(tǒng)計的模型有向量空間模型、Naive Bayes模型、實例映射模型和支撐向量機模型。其中向量空間模型(Vector Space Model,VSM)是由G.Salton等人在20世紀60

3、年代提出的,把文檔簡化為以項的權重為分量的向量表示,把分類過程簡化為空間向量的運算,使得問題的復雜性大大減低。此外,向量空間模型對項的權重評價、相似度的計算都沒有作出統(tǒng)一的規(guī)定,只是提供一個理論框架,可以使用＜WP=4＞不同的權重評價函數(shù)和相似度計算方法,使得此模型有廣泛的適應性。但此模型一般采用索引詞來表示文檔,分類是通過文檔之間的字、詞匹配來實現(xiàn),是淺層次的詞匹配,而非深層次的語義匹配,是不準確的。顯然,字、詞的同義性和多義性將分別

4、對文本分類的查全率和查準率產(chǎn)生不利影響。LSI(Latent Semantic Indexing,潛在語義索引)方法是1988年S.T.Dumains等人提出的一種新的信息檢索代數(shù)模型,其基本思想是文本中的詞與詞之間存在某種聯(lián)系,即存在某種潛在的語義結構,因此采用統(tǒng)計的方法來尋找該語義結構,并且用語義結構來表示詞和文本,這樣的結果可以達到消除詞之間的相關性,化簡文本向量的目的。LSI利用統(tǒng)計計算導出的概念索引進行信息檢索,而不再是傳統(tǒng)的

5、索引字、詞。LSI基于這樣一種斷言,即文檔庫中存在隱含的關于詞使用的語義結構,這種語義由于部分地被文檔中詞的語義和形式上的多樣性所掩蓋而不明顯。LSI通過對原文檔庫的詞—文檔矩陣的奇異值分解(Singular Value Decomposition)計算,并取前k個最大的奇異值及其對應的奇異矢量構成一個新矩陣來近似表示原文檔庫的詞—文矩陣。由于新矩陣消減了詞和文檔之間語義關系的模糊度,從而更有利于信息檢索。與傳統(tǒng)信息檢索模型相比,LSI

6、的優(yōu)勢表現(xiàn)在:向量空間中每一維的含義發(fā)生了很大的變化,它反映的不再是詞的簡單出現(xiàn)頻度和分布關系,而是強化的語義關系;用低維詞、文檔向量替代原有詞、文檔向量,可以有效地處理大規(guī)模文檔庫。本論文以LSI方法為基礎,在文[1][2]的啟發(fā)下,探討了基于概念空間文本分類的計算方法。由于文本分類是計算機情報檢索的一個分支,論文首先簡要地介紹了情報檢索與計算機情報檢索的涵義及發(fā)展簡史和發(fā)展趨勢;計算機情報檢索的基本理論、研究對象和方法,以及文本分類

7、的關鍵技術;然后論述了隱含語義索引(LSI)方法的思想和理論基礎,并用圖例和一個小的實例對其進行形象化說明,闡述了LSI方法的優(yōu)勢。論文的主要工作是在向量空間模型和LSI的基礎上構造文本分類的概念空間并提出在概念空間中詞語相似度、文檔相似度、待分類文檔與類的相似度的計算方法,在大量訓練集的基礎上,進行概念獲取,將文檔轉化為文檔向量,同時構造類基準向量,最后在概念空間中將文檔向量與類基準向量進行匹配,完成分類,同時還討論了有待在概念空間中