網頁信息過濾技術的分析與實現(xiàn).pdf

1、隨著互聯(lián)網的迅猛發(fā)展，網絡“信息過載”與“不良信息泛濫”現(xiàn)象日益嚴重，這也成為推動信息過濾技術和信息檢索技術發(fā)展的動力。無論是信息過濾技術還是信息檢索技術，其實質都是根據(jù)網頁內容對網頁進行分類。文本自動分類是大規(guī)模信息處理領域重要的應用技術之一，也是信息處理領域的重要研究方向，文本分類技術已經逐漸與搜索引擎、信息推送、信息過濾等信息處理技術相結合，這些技術的融合能有效地提高信息服務的質量。 本文在網頁信息提取及中文文本自動分類方

2、面做了一些有益的探索，對中文文本分類的相關技術一中文分詞、文本表示、特征提取、文本分類算法以及利用文本分類進行網頁信息過濾等方面做了一些探討，著重研究了網頁信息的自動提取技術以及Kohonen學習算法。 本文在對網頁結構進行詳細分析后，提出了對網頁穩(wěn)當?shù)牟煌剡M行加權和不同位置、不同關鍵字進行加權相結合的方法分析網頁內容的方法，按照結構對網頁進行解析，利用DOM技術提取網頁文檔的不同元素中的文本內容，并利用當前技術相對成熟的漢

3、語語法分析系統(tǒng)(ICTCLAS)進行分詞。 本文結合多種方法，從文本信息中提取出能充分表示文本信息內容的特征信息集合。通過對特征提取常用方法的研究，本文選擇了文檔頻率閾值、x2-統(tǒng)計量和人工提取相結合的方法來進行特征提取，并利用VSM方法來表示文本。在創(chuàng)建特征詞詞典時，提出創(chuàng)建主詞典和同、近義詞兩個詞典，既降低了向量空間維數(shù)同時提高了特征提取的準確率。 最后，本文利用KSOM網絡來訓練文本分類機，并設計了一個針對于網頁不