中文網(wǎng)頁分類技術(shù)的研究與實現(xiàn).pdf

1、隨著網(wǎng)絡(luò)和信息技術(shù)的迅速發(fā)展，特別是Internet的普及，網(wǎng)絡(luò)信息資源已極為豐富。文本分類將雜亂無章的信息整合起來，方便用戶快捷地定位感興趣的信息，是目前研究的重要課題。 本文對中文網(wǎng)頁分類的主要技術(shù)，包括預(yù)處理、特征提取、分類算法等方面進行了深入的分析和研究。首先，針對網(wǎng)頁表達形式的特點，將網(wǎng)頁噪聲分成局部噪聲和全局噪聲兩類，分別給出了兩種噪聲的去噪方法，并實現(xiàn)了一種基于HTMLParser的網(wǎng)頁預(yù)處理過程。其次，針對中文網(wǎng)

2、頁的特性，對中文分詞做了深入的分析，實現(xiàn)了一種基于詞典的分詞系統(tǒng)，該系統(tǒng)將分詞詞典按照相同的第一個字分成不同的小詞典，在各個小詞典內(nèi)部，利用二分查找方法，有效的提高了分詞速度。第三，TFIDF特征選取和文本表示沒有考慮特征項在各類之間和各個類的內(nèi)部的分布情況對類的區(qū)分度的影響，針對這一缺點，本文采用一種在TFIDF基礎(chǔ)上增加兩個方差來調(diào)節(jié)TFIDF權(quán)重的改進方案。最后，比較了幾種傳統(tǒng)的文本分類算法的優(yōu)劣，總結(jié)了現(xiàn)有的幾種改進方案，并給出