搜索引擎中定題數(shù)據(jù)采集Robot的研究.pdf

1、自日內(nèi)瓦粒子物理實驗室發(fā)明Web技術(shù)以來，Internet成為存貯信息知識的巨大倉庫。借助于它，人們用前所未有的方式共享思想和信息。人們逐漸習(xí)慣從Internet中獲取所需的信息，但如何從Internet中搜尋有價值的信息對于大多數(shù)人來說，仍是一件麻煩而困難的事情。搜索引擎的出現(xiàn)從一定程度上緩解了此矛盾，但信息量多，重復(fù)搜索浪費大，查詢精度低等一系列問題困擾著搜索引擎的進(jìn)一步發(fā)展。 針對當(dāng)今搜索引擎中存在的問題，我們認(rèn)為定題式搜

2、索引擎是未來新的發(fā)展方向，Web信息量豐富的程度已經(jīng)超過了個人能夠全部消化理解的限度，定題式搜索具有迫切的現(xiàn)實意義。而定題式搜索就需要有一個定題數(shù)據(jù)采集系統(tǒng)。 另一方面，要提高搜索引擎的查準(zhǔn)率，除了從頁面文本內(nèi)容相似度計算著手外，超鏈結(jié)構(gòu)分析現(xiàn)在已成為幫助提高搜索結(jié)果質(zhì)量的最有效方法。 本文的工作主要分為兩大部分，一部分是定題數(shù)據(jù)采集Robot的設(shè)計；另一部分是通過超鏈分析對頁面的重要性、主題相關(guān)性進(jìn)行評價。 在

3、定題數(shù)據(jù)采集Robot的設(shè)計中，本文工作主要圍繞Robot的體系結(jié)構(gòu)設(shè)計和定題式爬行采集算法，以及相關(guān)的一些必要工作，如Web頁面特征抽取、遵守網(wǎng)絡(luò)禮儀并避免對Web服務(wù)器造成錘打。定題式爬行算法主要解決待訪問的URL排序問題，這涉及頁面的重要性評價，本文綜合超鏈文字（Anchor Text）和PageRank技術(shù)提出一種定題式搜索算法，使得與主題相關(guān)的頁面能夠被優(yōu)先訪問，并和廣度優(yōu)先搜索算法進(jìn)行對比實驗，采集效率較高。此外，根據(jù)目前I

4、nternet網(wǎng)頁的更新時間分布情況，采用周期大小可動態(tài)調(diào)整的頁面周期性回訪控制策略對頁面進(jìn)行經(jīng)常性更新。 通過Web結(jié)構(gòu)分析和超鏈分析方式發(fā)現(xiàn)權(quán)威性的站點或頁面，可以使得查詢結(jié)果更加精確，提高查準(zhǔn)率。 本文對頁面權(quán)威性分析方法Kleinberg的HITS算法和成功的搜索引擎Google所采用的PageRank技術(shù)作了重點介紹和分析，Google的PageRank技術(shù)主要被應(yīng)用在本文的數(shù)據(jù)采集Robot對URL的優(yōu)先級排