基于覆蓋的中文網(wǎng)頁分類研究.pdf

1、隨著Internet的迅速發(fā)展,尤其是World Wide Web的全球普及,Web網(wǎng)絡上信息資源己經(jīng)涵蓋了社會生活的各個方面,網(wǎng)絡信息過載(Information Overload)問題日益突出,這又促使Web挖掘技術和Web網(wǎng)絡信息檢索技術迅速發(fā)展。其中,通過什么樣的方法和途徑來使網(wǎng)站的網(wǎng)頁信息資源得到合理有效地組織,提高網(wǎng)絡信息檢索的速度和準確度,是個頗讓人們感興趣的問題。網(wǎng)頁分類恰恰提供了這樣一種合理而有效組織信息的方法。網(wǎng)頁分

2、類提供了處理和組織大規(guī)模文本信息的關鍵技術,它是使網(wǎng)絡信息資源得以合理有效組織的重要方法。它為使用在網(wǎng)絡上存在的海量信息提供了可能性并大大提高了網(wǎng)絡資源的利用率。
　　由于我國的互聯(lián)網(wǎng)起步較晚,因而與之相對應的網(wǎng)頁分類也發(fā)展較晚。近年來,中科院軟件研究所、北京郵電大學模式識別與智能實驗室、微軟亞洲研究院等多家研究機構都在進行著與中文網(wǎng)頁分類相關的理論研究。我校的張鈴老師提出的覆蓋算法也為這一研究提供了理論及算法上的支持。
　

3、　前向神經(jīng)網(wǎng)絡的覆蓋算法是由張鈴老師提出的一種機器學習方法。本文將覆蓋算法應用到中文網(wǎng)頁的分類中,結合各種經(jīng)典的分詞和降低特征維數(shù)的方法進行分類,并與SVM方法,貝葉斯算法的分類結果進行比較分析。
　　本文所做的主要工作和創(chuàng)新點如下:
　　1)對HTML文本進行了簡要的介紹,說明如何通過預處理從HTML文本中取出對后期分類有價值的中文文本。
　　2)本文對以往中文網(wǎng)頁分類的預處理過程加以改進,對在分類中作用顯著的

4、tle>等標簽下的文本給以較大權重值。
　　3)對文本內容進行處理時,為了減少特征向量的維數(shù),本文使用文本分類中常見的幾種特征降維方法(文本頻度、χ2統(tǒng)計量方法、互信息方法、信息增益方法、期望交叉熵方法、文本證據(jù)權方法)分別對中文網(wǎng)頁樣本進行了測試。實驗結果表明,χ2統(tǒng)計量方法和期望交叉熵方法對文本分類最為有效,文本頻度方法和文本證據(jù)權方法稍差,而互信息方法和信息增益的方法效果最差;
　　4)獲得有效的網(wǎng)頁文本特征向量后,需

5、要使用合適的分類器進行分類。本文首次將張鈴、張鈸教授提出的前向人工神經(jīng)網(wǎng)絡基礎上的覆蓋算法應用到中文網(wǎng)頁的分類中。本文對使用覆蓋算法和SVM方法作為分類器進行了對比,實驗表明覆蓋算法是一種優(yōu)秀的分類器,可以有效的進行中文網(wǎng)頁的分類。
　　本文在中文網(wǎng)頁分類方面完成了一定的工作,但還存在一些不足,今后可以在以下方面繼續(xù)研究:
　　1)本文的研究對象是針對中文網(wǎng)頁,今后可以對非中文網(wǎng)頁進行研究,將非中文網(wǎng)頁也納入研究范圍中;