主題Web信息采集與分析技術(shù)研究.pdf

1、目前，搜索引擎逐漸成為用戶在Web上獲取信息的主要工具。傳統(tǒng)的通用搜索引擎利用一個Crawler程序面向整個Web進行信息采集，它的缺點是采集無針對性、頁面失效率高、不能滿足特定專業(yè)人群的需要。針對這種情況，需要一個分類細致精確、數(shù)據(jù)全面深入、更新及時的面向主題的搜索引擎。 本文設(shè)計了一個主題搜索引擎，并對現(xiàn)有的主題Web信息采集與分析技術(shù)進行了深入研究；按照評價鏈接價值所采用方法的不同，對Crawler的爬行搜索策略進行了分類

2、，分析和比較了各類搜索策略的特點及優(yōu)缺點。通過對幾種常見的Web社區(qū)結(jié)構(gòu)的分析，指出現(xiàn)有的基于局部信息的主題Web信息采集技術(shù)存在一些問題：技術(shù)層面上的“局部最優(yōu)”與“主題漂移”之間，以及采集結(jié)果上查全率與查準率之間存在著不協(xié)調(diào)的現(xiàn)象。因此，本文決定利用基于概率選擇的，具有通用性、高適應(yīng)性和全局性的遺傳算法來解決這一問題。 論文所做的工作主要有： ①根據(jù)傳統(tǒng)的通用搜索引擎與主題搜索引擎之間目的和實現(xiàn)手段上的差異，提出了一

3、個主題搜索引擎，并介紹了系統(tǒng)每一部分的功能和其實現(xiàn)方法。 ②研究了信息采集與分析技術(shù)、信息檢索技術(shù)，其中主要研究了主題Web信息采集與分析技術(shù)。通過對比和分析，發(fā)現(xiàn)現(xiàn)有技術(shù)的優(yōu)點和不足之處。 ③研究了遺傳算法的概念、特點、實現(xiàn)方法和其數(shù)學原理，并提出將其運用在主題Web信息采集領(lǐng)域里，改進信息采集系統(tǒng)的性能。 ④通過深入分析遺傳算法與主題Web信息采集技術(shù)的共性與不同之處，論述了在信息采集系統(tǒng)中應(yīng)用遺傳算法的可