WEB文本挖掘系統(tǒng).pdf

1、互聯(lián)網(wǎng)的迅速發(fā)展導致網(wǎng)上信息飛速增長，形成了我們不能忽視“信息爆炸”的問題——信息極大豐富卻導致知識的難以查詢。目前，WEB已經(jīng)發(fā)展成為擁有3億頁面的分布式信息空間，而在這些異質(zhì)的3億WEB頁面的資源中，蘊含著大量的人們迫切需要的知識。本文針對網(wǎng)頁采集、網(wǎng)頁凈化、獲取文檔特征量、WEB文本聚類這幾部分內(nèi)容，進行了深入的研究，完成了以下工作： (1)介紹了網(wǎng)頁采集的基本原理，研究并且比較了目前常用的幾種網(wǎng)絡(luò)信息采集算法。

2、(2)為了有效對網(wǎng)絡(luò)信息進行處理，必須對采集進來的網(wǎng)頁進行凈化，本文介紹了網(wǎng)頁凈化基本原理，研究分析了各種網(wǎng)頁凈化方法。 (3)提出了一種新的網(wǎng)頁凈化算法——基于dom樹的網(wǎng)頁凈化算法。該算法通過比較同一網(wǎng)站網(wǎng)頁的dom樹來凈化網(wǎng)頁。 (4)研究比較了國內(nèi)當前比較流行的中文分詞算法，比如基于字典詞庫匹配的分詞方法、基于詞的頻度統(tǒng)計的分詞方法、基于知識理解的分詞方法。 (5)介紹了如何通過向量空間模型建立WEB文檔