中文搜索引擎Robot技術研究與實現(xiàn).pdf

1、Robot是搜索引擎的關鍵技術之一，它已經發(fā)展為一門涉及人工智能、計算機網(wǎng)絡、分布式處理、數(shù)據(jù)庫、數(shù)據(jù)挖掘、自然語言處理等多領域的理論和技術。隨著Web信息的爆炸式增長和人們對信息服務要求的提高，人們期待Robot的搜集性能越來越強。當前提高Robot性能最有效的方法是采用分布式技術，但是這會產生一些新的問題，如URL劃分策略、URL匹配方式、負載平衡、擴展性和健壯性等。基于分布式技術的研究，給出了一個基于URL分級散列機制的中文Web

2、信息搜集系統(tǒng)（簡稱UCHS系統(tǒng)），為了解決上述問題，在該系統(tǒng)中運用了新的設計方案、URL劃分策略和匹配算法；針對中文Web信息搜集這一特點，提到了一些有價值的搜索策略和方法。首先介紹了課題的研究背景、意義和研究內容，給出了全文的組織結構。其次對搜索引擎及其關鍵部分Robot技術進行了全面的分析研究，從搜索引擎的歷史、分類、工作原理、評價標準和發(fā)展趨勢等五個方面對搜索引擎作了全面的闡述。再次從種類、搜索策略、更新策略等問題入手重點分析了R

3、obot技術，并指出當前Robot技術面臨的問題。在此基礎上，給出了UCHS系統(tǒng)。針對采用分布式技術帶來的新問題，提出了基于URL分級散列定位和匹配的方案，并為之設計了兩種適用于中文Web信息搜集的URL散列函數(shù)。為了進一步提高中文Web信息搜集的性能，提出了基于域名的URL過濾技術、基于首頁內容的中文網(wǎng)站識別技術、基于首頁的搜索策略和基 于內容變化度的更新策略等技術和策略?；谏鲜鲅芯砍晒o出了UCHS系統(tǒng)的設計模型以及實現(xiàn)