基于最大熵模型的網(wǎng)頁分類.pdf

1、 隨著WWW的迅猛發(fā)展，對網(wǎng)頁進行分類成為處理和組織大量文檔數(shù)據(jù)的關(guān)鍵技術(shù)。由于最大熵模型可以綜合觀察到的各種相關(guān)或不相關(guān)的概率知識，對許多問題的處理都可以達到較好的結(jié)果。研究者通過實驗比較和分析了基于最大熵模型的分類器的分類性能，并且分別對其進行了特征優(yōu)化、預(yù)分類處理以及平滑處理的比較，結(jié)果發(fā)現(xiàn)預(yù)分類處理對分類的幫助是很明顯的，其余兩種操作也在一定程度上提高了分類精度。 本文針對最大熵的優(yōu)點做了以下研究：(1)對網(wǎng)頁結(jié)構(gòu)

2、進行分析，根據(jù)其連接程度分為C-Hub頁面和內(nèi)容頁面兩種，以便進一步研究時，可根據(jù)不同的特點采取不同的研究方法，旨在提高網(wǎng)頁的分類精度。 (2)對網(wǎng)頁進行了預(yù)處理，包括分詞、建造類別詞庫等。通過對詞專指度的計算，給出能夠確定文章類別的關(guān)鍵詞入庫。 (3)基于最大熵模型，本文用GIS算法求得特征函數(shù)，并用傳統(tǒng)的特征歸納方法，通過計算兩個概率分布之間的距離，分析引入某一特征后的信息增益，對每一特征進行篩選，選出有用的特征組成

3、一個特征優(yōu)化集合。 (4)分別對結(jié)構(gòu)分析得到的兩種頁面設(shè)計特征函數(shù)。對于內(nèi)容頁面，由于其形式與純文本文檔非常接近，我們用詞-類別作為其特征，采用詞頻作為特征值；對于C-Hub頁面，由于有較高的文字鏈接比，我們主要對HTML格式進行分析。首先通過分析HTML語言提取出一個優(yōu)化的HTML標記集合作為研究對象，然后引入Salton提出的文本表示方法，并加以改進，用以表示網(wǎng)頁內(nèi)容，把詞本身的特征與其所在位置相結(jié)合，計算出特征值ti，生成