面向web文本挖掘的主題搜索技術研究.pdf

1、隨著因特網(wǎng)的快速發(fā)展，海量的Web數(shù)據(jù)資源已經(jīng)成為人們獲取知識與信息的重要來源。由于Web資源具有半結構性、離散性、實時性和異構性等特點，用戶很難快速準確地從Web上獲取真正有價值的信息。獲取Web信息的主要方法是使用搜索引擎，而現(xiàn)在流行的通用搜索引擎不能很好的提供信息結構抽取、Web文本內(nèi)容的分類、過濾以及文檔理解方面的功能。因此，如何設計搜索引擎技術，使之更適應的對Web資源進行高效的挖掘就成為了研究熱點。 本論文的研究內(nèi)容

2、是面向Web文本挖掘的主題搜索引擎研究與系統(tǒng)設計。重點討論了當前流行的Web挖掘以及搜索引擎的核心技術，并且設計和實現(xiàn)主題Web信息挖掘和搜索原型系統(tǒng)Label3。本文的主要工作研究如下： 主題爬蟲技術：改進了以往的爬蟲策略，提出了基于非貪婪遺傳算法的網(wǎng)絡爬蟲搜索策略，對各個算法進行數(shù)據(jù)分析和性能比較。 語言過濾分詞、中文字詞切分算法：考慮到拉丁語言與中文語言的差異，本文討論了各自的語言分詞算法，特別針對中文語言的特殊性