Web文本分類方法研究與系統(tǒng)實(shí)現(xiàn).pdf

1、近年來,Web已經(jīng)飛速發(fā)展成為了世界上數(shù)據(jù)量最大的公共信息源。如何使Web用戶能夠在浩瀚的信息資源中方便、快捷的定位到所需要的信息,已經(jīng)成為迫切需要解決的問題。Web文本的正確分類正是其中的核心問題。Web文本分類源自于自動分類技術(shù),是Web文本挖掘的重要組成部分。它不僅可以有效提高用戶的搜索效率,幫助用戶快速、準(zhǔn)確的定位到目標(biāo)知識,而且還可以獲取到不同用戶的類別興趣特征,為滿足用戶的個(gè)性化服務(wù)要求提供參考。
　　 目前的分類研

2、究多把文檔類別看成是平面化的、不相交的,沒有考慮到類別間的層次關(guān)系。當(dāng)類別數(shù)目較多時(shí),平面分類學(xué)習(xí)得到分類器的時(shí)間開銷大,而且在對未知文檔分類時(shí),需要與全部類模型進(jìn)行比較,這顯然很不恰當(dāng)。本文在對Web文本挖掘及自動分類技術(shù)進(jìn)行深入研究的基礎(chǔ)上,結(jié)合類別間的層次關(guān)系,實(shí)現(xiàn)了一個(gè)多層次的Web文本分類系統(tǒng)。本文創(chuàng)新點(diǎn)和關(guān)鍵技術(shù)如下:
　　 1.建立了層次化的訓(xùn)練和分類模型:本文針對網(wǎng)頁內(nèi)容豐富、涉及多領(lǐng)域的多個(gè)類別的特征,分析了平

3、面分類方法在多類別情況下存在的問題,提出了層次分類的思想,建立了層次化的訓(xùn)練和分類模型。
　　 2.設(shè)計(jì)并實(shí)現(xiàn)了Web文本的自動抽取器:Web網(wǎng)頁中摻雜的廣告、超鏈接等噪聲給Web文本分類帶來了極大困擾。本文實(shí)現(xiàn)了一個(gè)Web文本自動抽取器,使Web頁面經(jīng)過處理變?yōu)檩^純凈的包含標(biāo)題和正文內(nèi)容的純文本。
　　 3.提出了一種適合于Web網(wǎng)頁的關(guān)鍵詞提取方法:網(wǎng)頁中不同位置和不同詞性的詞語對表達(dá)網(wǎng)頁內(nèi)容所起的作用也有所不同,針

4、對這一特點(diǎn),本文提出了基于詞性、位置和詞頻信息加權(quán)的關(guān)鍵詞提取方法來進(jìn)一步過濾掉網(wǎng)頁噪聲詞,取得了較好的效果。
　　 4.提出了一種基于x2統(tǒng)計(jì)量加權(quán)的分類方法:x2統(tǒng)計(jì)量能夠很好的反映特征和類別間的相關(guān)性。本文創(chuàng)新性的將x2統(tǒng)計(jì)量應(yīng)用于文本分類,不但簡化了分類過程,而且在實(shí)際應(yīng)用中得到了較好的分類速度和準(zhǔn)確度。
　　 本論文根據(jù)Web文本的特點(diǎn)提出了一套針對大規(guī)模、多類別的Web文本進(jìn)行分類的實(shí)施方案,設(shè)計(jì)了一個(gè)Web