基于統(tǒng)計方法的網(wǎng)頁內(nèi)容分類技術(shù)研究.pdf

1、由于通信及網(wǎng)絡(luò)技術(shù)的發(fā)展，網(wǎng)絡(luò)數(shù)據(jù)呈現(xiàn)海量特征。如何從浩如煙海的信息數(shù)據(jù)中找到自己需要的信息，是目前亟待解決的一大問題。網(wǎng)頁自動分類技術(shù)可以使信息組織更加條理，富有層次性，有助于人們信息的獲取。
　　 本文研究了網(wǎng)頁內(nèi)容分類中的相關(guān)技術(shù)，具體包括：
　　 (1)基于相似度的網(wǎng)頁正文獲取算法。傳統(tǒng)網(wǎng)頁正文獲取需要經(jīng)過分塊和正文定位兩個步驟，由于網(wǎng)頁結(jié)構(gòu)復(fù)雜多樣，使得分塊過程較為復(fù)雜而且正文定位困難。本文主要研究無需分塊的網(wǎng)

2、頁正文提取，提出了基于相似度的網(wǎng)頁正文提取算法。首先提取出最大文本行，然后根據(jù)文本內(nèi)容相似度和標(biāo)簽相似度來提取網(wǎng)頁正文內(nèi)容，略過了傳統(tǒng)的分塊步驟。
　　 (2)改進(jìn)的特征選擇算法。由于經(jīng)典的卡方統(tǒng)計在選擇特征時偏向于低頻度特征，本文在研究了卡方統(tǒng)計算法之后，提出了基于詞頻擴(kuò)散的卡方統(tǒng)計降維算法，利用特征的文檔頻率和詞頻結(jié)合的方式來代替?zhèn)鹘y(tǒng)的卡方統(tǒng)計公式中的文檔頻率。
　　 (3)網(wǎng)頁分類實驗平臺的搭建。網(wǎng)頁分類實驗平臺主