中文網(wǎng)頁(yè)分類(lèi)技術(shù)的研究與實(shí)現(xiàn).pdf

1、隨著網(wǎng)絡(luò)和信息技術(shù)的迅速發(fā)展，特別是Internet的普及，網(wǎng)絡(luò)信息資源已極為豐富。文本分類(lèi)將雜亂無(wú)章的信息整合起來(lái)，方便用戶(hù)快捷地定位感興趣的信息，是目前研究的重要課題。 本文對(duì)中文網(wǎng)頁(yè)分類(lèi)的主要技術(shù)，包括預(yù)處理、特征提取、分類(lèi)算法等方面進(jìn)行了深入的分析和研究。首先，針對(duì)網(wǎng)頁(yè)表達(dá)形式的特點(diǎn)，將網(wǎng)頁(yè)噪聲分成局部噪聲和全局噪聲兩類(lèi)，分別給出了兩種噪聲的去噪方法，并實(shí)現(xiàn)了一種基于HTMLParser的網(wǎng)頁(yè)預(yù)處理過(guò)程。其次，針對(duì)中文網(wǎng)

2、頁(yè)的特性，對(duì)中文分詞做了深入的分析，實(shí)現(xiàn)了一種基于詞典的分詞系統(tǒng)，該系統(tǒng)將分詞詞典按照相同的第一個(gè)字分成不同的小詞典，在各個(gè)小詞典內(nèi)部，利用二分查找方法，有效的提高了分詞速度。第三，TFIDF特征選取和文本表示沒(méi)有考慮特征項(xiàng)在各類(lèi)之間和各個(gè)類(lèi)的內(nèi)部的分布情況對(duì)類(lèi)的區(qū)分度的影響，針對(duì)這一缺點(diǎn)，本文采用一種在TFIDF基礎(chǔ)上增加兩個(gè)方差來(lái)調(diào)節(jié)TFIDF權(quán)重的改進(jìn)方案。最后，比較了幾種傳統(tǒng)的文本分類(lèi)算法的優(yōu)劣，總結(jié)了現(xiàn)有的幾種改進(jìn)方案，并給出