基于支持向量機(jī)的中文網(wǎng)頁分類的研究.pdf

1、隨著互聯(lián)網(wǎng)技術(shù)的迅速發(fā)展，網(wǎng)絡(luò)上的信息資源呈爆炸式增長，萬維網(wǎng)己經(jīng)成為擁有幾十億個web 頁面的分布式信息空間。在這海量的數(shù)字資源中，信息大都以半結(jié)構(gòu)化或非結(jié)構(gòu)化的數(shù)據(jù)形式存在，存儲組織雜亂無章，從中迅速有效地獲得所需信息非常困難。網(wǎng)頁分類作為處理和組織大量web數(shù)據(jù)的關(guān)鍵技術(shù)，可以在較大程度上解決信息雜亂問題，方便用戶準(zhǔn)確地定位所需的信息和分流信息，具有廣泛的應(yīng)用前景。 本文研究了中文網(wǎng)頁自動分類問題，運(yùn)用支持向量機(jī)算法進(jìn)行分類

2、，有效地提高了網(wǎng)頁分類的準(zhǔn)確性。首先，對網(wǎng)頁源代碼進(jìn)行深入研究，建立了一種網(wǎng)頁噪音自動過濾的方法。根據(jù)web頁面的特征，提出網(wǎng)頁去噪的三個層次：標(biāo)簽過濾、提取內(nèi)容、再標(biāo)簽過濾，去除網(wǎng)頁中的Tag標(biāo)簽、廣告、版權(quán)信息，有效剔除與網(wǎng)頁主題無關(guān)的內(nèi)容，保留了網(wǎng)頁正文及相關(guān)信息。其次，將提取的網(wǎng)頁信息分為關(guān)鍵信息部分和正文信息部分，并將兩部分分別進(jìn)行處理，生成文本的向量格式。通過學(xué)習(xí)支持向量機(jī)分類算法，對向量文本進(jìn)行分類，得到的文本類別信息反映