信息檢索中的文本分類與降維技術(shù)研究.pdf

1、網(wǎng)絡(luò)信息量的指數(shù)增長對信息檢索提出了更高的要求。為方便信息檢索，有必要先對海量的電子信息按其內(nèi)容加以分類。文本分類作為處理和組織大量文本數(shù)據(jù)的關(guān)鍵技術(shù)，可以在較大程度上解決信息雜亂的問題，已經(jīng)在信息檢索、信息過濾、搜索引擎、數(shù)字化圖書館等領(lǐng)域廣泛的應(yīng)用。 本文首先對文本分類領(lǐng)域的幾個(gè)關(guān)鍵問題進(jìn)行了描述，同時(shí)給出了典型的文本分類過程及系統(tǒng)框架。然后，對文本的表示、相似性度量、權(quán)重的計(jì)算、文本分類模型、降維技術(shù)以及評價(jià)標(biāo)準(zhǔn)作了詳細(xì)的

2、闡述。 若要有效地實(shí)現(xiàn)文本分類，維數(shù)約減是必不可少的，它不僅可以去除冗余和噪聲數(shù)據(jù)，節(jié)省存儲空間，降低計(jì)算的復(fù)雜度，而且直接影響到分類器的設(shè)計(jì)及分類的精度。它在信息檢索、機(jī)器學(xué)習(xí)和模式識別中也是至關(guān)重要的一步。本文主要針對信息檢索中的文本分類的降維技術(shù)進(jìn)行了研究，主要工作包括以下幾個(gè)方面： 第一，特征選擇在文本分類領(lǐng)域里一直扮演著重要的角色。本文通過引入特征項(xiàng)的權(quán)重，改進(jìn)了原有的信息增益、期望交叉熵、文本證據(jù)權(quán)特征選擇方

3、法的評估函數(shù)，提出了一種加權(quán)的文本特征選擇方法。 第二，為了更好的利用權(quán)重信息，本文從特征項(xiàng)與類之間關(guān)系的角度考慮，提出了一種基于模糊關(guān)系的文本特征選擇方法。通過權(quán)值確定隸屬度，再用其隸屬度構(gòu)造了一個(gè)評估函數(shù)，用它來對原始空間進(jìn)行特征選擇。 第三，文本處理過程中的一個(gè)基礎(chǔ)性問題是文本的表示和索引。本文從判別能力上分析，提出了一種稱為有監(jiān)督的保局索引(SLPI)算法，SLPI目標(biāo)是發(fā)現(xiàn)文本空間的局部結(jié)構(gòu)，它是一種線性的維數(shù)