基于RSS的搜索引擎框架的研究與應(yīng)用.pdf

1、隨著計(jì)算機(jī)與互聯(lián)網(wǎng)的日益普及與應(yīng)用，在10年左右的時(shí)間里互聯(lián)網(wǎng)上至少產(chǎn)生了50億的網(wǎng)頁(yè)，浩如煙海的互聯(lián)網(wǎng)信息極大地促進(jìn)了搜索引擎技術(shù)的蓬勃發(fā)展，誕生了我們所熟知的Google、Yahoo、Baidu等一大批搜索引擎。據(jù)CNNIC統(tǒng)計(jì)，搜索引擎已成為繼電子郵件后的第二大應(yīng)用[1]。目前搜索引擎主要發(fā)展方向有通用搜索引擎以及垂直搜索引擎兩種，兩者的主要區(qū)別是信息覆蓋的領(lǐng)域和范圍，但是兩類搜索引擎反映的信息普遍時(shí)效性較差。 網(wǎng)絡(luò)爬蟲(chóng)是

2、一種對(duì)遠(yuǎn)程信息資源進(jìn)行抓取的網(wǎng)絡(luò)應(yīng)用程序，它把遠(yuǎn)程信息抓取并保存到本地。Lucene是一種開(kāi)源的通用本地信息檢索框架，相對(duì)于傳統(tǒng)的一些信息應(yīng)用提供了更快的反應(yīng)速度。RSS(ReallySimpleSyndication)，也稱聚合內(nèi)容，作為一種網(wǎng)絡(luò)信息推送技術(shù)在各大門戶站點(diǎn)得到了廣泛應(yīng)用。RSS訂閱機(jī)制使我們可以及時(shí)地獲取最新資源信息，摒棄過(guò)時(shí)信息的干擾。通過(guò)對(duì)網(wǎng)絡(luò)RSS資源的抓取檢索發(fā)現(xiàn)信息能夠充分保證信息的及時(shí)性，這也正是本文的研究

3、目標(biāo)。 本文在閱讀了大量參考文獻(xiàn)的基礎(chǔ)上，對(duì)部分開(kāi)源蜘蛛以及Lucene代碼進(jìn)行深入分析研究，提出了一種針對(duì)網(wǎng)絡(luò)RSS信息抓取并檢索的方案：基于RSS爬蟲(chóng)的搜索引擎框架。本文的主要工作及創(chuàng)新性可體現(xiàn)在以下幾個(gè)方面： (1)通過(guò)對(duì)網(wǎng)絡(luò)爬蟲(chóng)Jobo基本原理以及部分開(kāi)源代碼進(jìn)行研究，完成了RSS網(wǎng)絡(luò)爬蟲(chóng)的設(shè)計(jì)編程工作，針對(duì)性地設(shè)計(jì)并實(shí)現(xiàn)了代碼框架： 利用Tidy將Html內(nèi)容轉(zhuǎn)化為DOM樹(shù)形式，遍歷DOM樹(shù)提取網(wǎng)頁(yè)內(nèi)部

4、包含的文本鏈接地址以及圖片鏈接地址； 利用MD5算法計(jì)算網(wǎng)頁(yè)地址的32位hash值表示已抓取網(wǎng)頁(yè)并存儲(chǔ)為文件列表形式，新的待抓取網(wǎng)頁(yè)地址也利用相同算法計(jì)算后與文件列表中的值對(duì)比，有相同值就表示已抓取過(guò)，以此來(lái)屏蔽已抓取網(wǎng)頁(yè)連接； 網(wǎng)頁(yè)地址32位hash值存儲(chǔ)過(guò)程中實(shí)現(xiàn)了緩存機(jī)制，提高了磁盤讀寫效率。 (2)探討了Lucene提供的分詞，過(guò)濾，轉(zhuǎn)換等過(guò)程，實(shí)現(xiàn)了以ICTCLAS中文分詞系統(tǒng)為基礎(chǔ)的自定義分析器；