基于統(tǒng)計(jì)方法的網(wǎng)頁(yè)內(nèi)容分類(lèi)技術(shù)研究.pdf

1、由于通信及網(wǎng)絡(luò)技術(shù)的發(fā)展，網(wǎng)絡(luò)數(shù)據(jù)呈現(xiàn)海量特征。如何從浩如煙海的信息數(shù)據(jù)中找到自己需要的信息，是目前亟待解決的一大問(wèn)題。網(wǎng)頁(yè)自動(dòng)分類(lèi)技術(shù)可以使信息組織更加條理，富有層次性，有助于人們信息的獲取。
　　 本文研究了網(wǎng)頁(yè)內(nèi)容分類(lèi)中的相關(guān)技術(shù)，具體包括：
　　 (1)基于相似度的網(wǎng)頁(yè)正文獲取算法。傳統(tǒng)網(wǎng)頁(yè)正文獲取需要經(jīng)過(guò)分塊和正文定位兩個(gè)步驟，由于網(wǎng)頁(yè)結(jié)構(gòu)復(fù)雜多樣，使得分塊過(guò)程較為復(fù)雜而且正文定位困難。本文主要研究無(wú)需分塊的網(wǎng)

2、頁(yè)正文提取，提出了基于相似度的網(wǎng)頁(yè)正文提取算法。首先提取出最大文本行，然后根據(jù)文本內(nèi)容相似度和標(biāo)簽相似度來(lái)提取網(wǎng)頁(yè)正文內(nèi)容，略過(guò)了傳統(tǒng)的分塊步驟。
　　 (2)改進(jìn)的特征選擇算法。由于經(jīng)典的卡方統(tǒng)計(jì)在選擇特征時(shí)偏向于低頻度特征，本文在研究了卡方統(tǒng)計(jì)算法之后，提出了基于詞頻擴(kuò)散的卡方統(tǒng)計(jì)降維算法，利用特征的文檔頻率和詞頻結(jié)合的方式來(lái)代替?zhèn)鹘y(tǒng)的卡方統(tǒng)計(jì)公式中的文檔頻率。
　　 (3)網(wǎng)頁(yè)分類(lèi)實(shí)驗(yàn)平臺(tái)的搭建。網(wǎng)頁(yè)分類(lèi)實(shí)驗(yàn)平臺(tái)主