基于概念空間的文本分類的應(yīng)用研究.pdf

1、隨著文本信息的快速增長(zhǎng),特別是Internet上在線信息的增加,文本(網(wǎng)頁(yè))分類顯得越來(lái)越重要。由于文本分類有助于用戶有選擇地閱讀和處理海量文本,可以在較大程度上解決目前網(wǎng)上信息雜亂的現(xiàn)象,方便用戶準(zhǔn)確地定位所需的信息和分流信息,因此,文本自動(dòng)分類已成為一項(xiàng)具有較大實(shí)用價(jià)值的關(guān)鍵技術(shù),是組織和管理數(shù)據(jù)的有力手段.文本分類的方法分為兩類:一是基于知識(shí)的分類方法;二是基于統(tǒng)計(jì)的分類方法?；谥R(shí)的文本分類系統(tǒng)應(yīng)用于某一具體領(lǐng)域,需要該領(lǐng)域的

2、知識(shí)庫(kù)作為支撐,由于知識(shí)提取、更新、維護(hù)以及自我學(xué)習(xí)等方面存在的種種問(wèn)題,使得它適用面較窄。而基于統(tǒng)計(jì)的分類方法由于采用純粹的數(shù)學(xué)運(yùn)算,不苛求復(fù)雜的語(yǔ)言學(xué)知識(shí)和領(lǐng)域知識(shí),以及在實(shí)際應(yīng)用中所體現(xiàn)出來(lái)的良好效果,成為目前流行的文本分類方法?，F(xiàn)在廣泛應(yīng)用的基于統(tǒng)計(jì)的模型有向量空間模型、Naive Bayes模型、實(shí)例映射模型和支撐向量機(jī)模型。其中向量空間模型(Vector Space Model,VSM)是由G.Salton等人在20世紀(jì)60

3、年代提出的,把文檔簡(jiǎn)化為以項(xiàng)的權(quán)重為分量的向量表示,把分類過(guò)程簡(jiǎn)化為空間向量的運(yùn)算,使得問(wèn)題的復(fù)雜性大大減低。此外,向量空間模型對(duì)項(xiàng)的權(quán)重評(píng)價(jià)、相似度的計(jì)算都沒(méi)有作出統(tǒng)一的規(guī)定,只是提供一個(gè)理論框架,可以使用＜WP=4＞不同的權(quán)重評(píng)價(jià)函數(shù)和相似度計(jì)算方法,使得此模型有廣泛的適應(yīng)性。但此模型一般采用索引詞來(lái)表示文檔,分類是通過(guò)文檔之間的字、詞匹配來(lái)實(shí)現(xiàn),是淺層次的詞匹配,而非深層次的語(yǔ)義匹配,是不準(zhǔn)確的。顯然,字、詞的同義性和多義性將分別

4、對(duì)文本分類的查全率和查準(zhǔn)率產(chǎn)生不利影響。LSI(Latent Semantic Indexing,潛在語(yǔ)義索引)方法是1988年S.T.Dumains等人提出的一種新的信息檢索代數(shù)模型,其基本思想是文本中的詞與詞之間存在某種聯(lián)系,即存在某種潛在的語(yǔ)義結(jié)構(gòu),因此采用統(tǒng)計(jì)的方法來(lái)尋找該語(yǔ)義結(jié)構(gòu),并且用語(yǔ)義結(jié)構(gòu)來(lái)表示詞和文本,這樣的結(jié)果可以達(dá)到消除詞之間的相關(guān)性,化簡(jiǎn)文本向量的目的。LSI利用統(tǒng)計(jì)計(jì)算導(dǎo)出的概念索引進(jìn)行信息檢索,而不再是傳統(tǒng)的

5、索引字、詞。LSI基于這樣一種斷言,即文檔庫(kù)中存在隱含的關(guān)于詞使用的語(yǔ)義結(jié)構(gòu),這種語(yǔ)義由于部分地被文檔中詞的語(yǔ)義和形式上的多樣性所掩蓋而不明顯。LSI通過(guò)對(duì)原文檔庫(kù)的詞—文檔矩陣的奇異值分解(Singular Value Decomposition)計(jì)算,并取前k個(gè)最大的奇異值及其對(duì)應(yīng)的奇異矢量構(gòu)成一個(gè)新矩陣來(lái)近似表示原文檔庫(kù)的詞—文矩陣。由于新矩陣消減了詞和文檔之間語(yǔ)義關(guān)系的模糊度,從而更有利于信息檢索。與傳統(tǒng)信息檢索模型相比,LSI

6、的優(yōu)勢(shì)表現(xiàn)在:向量空間中每一維的含義發(fā)生了很大的變化,它反映的不再是詞的簡(jiǎn)單出現(xiàn)頻度和分布關(guān)系,而是強(qiáng)化的語(yǔ)義關(guān)系;用低維詞、文檔向量替代原有詞、文檔向量,可以有效地處理大規(guī)模文檔庫(kù)。本論文以LSI方法為基礎(chǔ),在文[1][2]的啟發(fā)下,探討了基于概念空間文本分類的計(jì)算方法。由于文本分類是計(jì)算機(jī)情報(bào)檢索的一個(gè)分支,論文首先簡(jiǎn)要地介紹了情報(bào)檢索與計(jì)算機(jī)情報(bào)檢索的涵義及發(fā)展簡(jiǎn)史和發(fā)展趨勢(shì);計(jì)算機(jī)情報(bào)檢索的基本理論、研究對(duì)象和方法,以及文本分類

7、的關(guān)鍵技術(shù);然后論述了隱含語(yǔ)義索引(LSI)方法的思想和理論基礎(chǔ),并用圖例和一個(gè)小的實(shí)例對(duì)其進(jìn)行形象化說(shuō)明,闡述了LSI方法的優(yōu)勢(shì)。論文的主要工作是在向量空間模型和LSI的基礎(chǔ)上構(gòu)造文本分類的概念空間并提出在概念空間中詞語(yǔ)相似度、文檔相似度、待分類文檔與類的相似度的計(jì)算方法,在大量訓(xùn)練集的基礎(chǔ)上,進(jìn)行概念獲取,將文檔轉(zhuǎn)化為文檔向量,同時(shí)構(gòu)造類基準(zhǔn)向量,最后在概念空間中將文檔向量與類基準(zhǔn)向量進(jìn)行匹配,完成分類,同時(shí)還討論了有待在概念空間中