分布式垂直搜索引擎技術(shù)研究.pdf

1、分布式垂直搜索引擎技術(shù)是傳統(tǒng)的垂直搜索引擎技術(shù)和分布式技術(shù)的結(jié)合，它利用多臺(tái)計(jì)算機(jī)構(gòu)成一個(gè)分布式計(jì)算與處理集群，可以解決垂直搜索引擎面對(duì)大規(guī)模網(wǎng)頁(yè)數(shù)據(jù)時(shí)容易出現(xiàn)的響應(yīng)速度慢、準(zhǔn)確率低、擴(kuò)展性差以及可靠性低等問題。主題網(wǎng)絡(luò)爬蟲和網(wǎng)頁(yè)數(shù)據(jù)存儲(chǔ)都是分布式垂直搜索引擎技術(shù)的關(guān)鍵組成部分，而且主題網(wǎng)絡(luò)爬蟲的爬行效率、準(zhǔn)確率以及網(wǎng)頁(yè)數(shù)據(jù)的存取效率都與分布式垂直搜索引擎技術(shù)的整體性能有著至關(guān)重要的聯(lián)系。因此，對(duì)主題網(wǎng)絡(luò)爬蟲與網(wǎng)頁(yè)數(shù)據(jù)存儲(chǔ)進(jìn)行研究具有較

2、大的理論意義和實(shí)用價(jià)值。
　　本文首先對(duì)搜索引擎的相關(guān)理論知識(shí)和關(guān)鍵技術(shù)進(jìn)行了研究與介紹，然后在此基礎(chǔ)上借鑒已有研究成果，對(duì)分布式垂直搜索引擎技術(shù)中主題網(wǎng)絡(luò)爬蟲和網(wǎng)頁(yè)數(shù)據(jù)存儲(chǔ)進(jìn)行了較為詳細(xì)的研究，具體的研究?jī)?nèi)容包括:
　　(1)針對(duì)傳統(tǒng)的主題網(wǎng)絡(luò)爬蟲在連續(xù)爬行時(shí)準(zhǔn)確率不易提高、在考慮鏈接結(jié)構(gòu)特性時(shí)計(jì)算的時(shí)間復(fù)雜度偏高等問題，研究并設(shè)計(jì)了學(xué)習(xí)型主題網(wǎng)絡(luò)爬蟲。首先，在爬行過程中添加學(xué)習(xí)過程，通過主題相關(guān)度分析、中心性計(jì)算以及相關(guān)

3、度判斷完成知識(shí)庫(kù)的創(chuàng)建與更新，以提高連續(xù)爬行時(shí)的準(zhǔn)確率。然后，利用主從式的分布式架構(gòu)，通過主節(jié)點(diǎn)控制、協(xié)調(diào)與管理多個(gè)從節(jié)點(diǎn)的并發(fā)運(yùn)行，以提高爬行效率。最后，實(shí)驗(yàn)結(jié)果驗(yàn)證了學(xué)習(xí)型主題網(wǎng)絡(luò)爬蟲的準(zhǔn)確性、高效性、可靠性以及易擴(kuò)展性。
　　(2)針對(duì)HDFS在存取大量網(wǎng)頁(yè)小文件時(shí)效率低的問題，研究并設(shè)計(jì)了網(wǎng)頁(yè)數(shù)據(jù)存儲(chǔ)架構(gòu)。首先，采用合并策略將主題相關(guān)的若干網(wǎng)頁(yè)小文件合并成網(wǎng)頁(yè)大文件，以提高存儲(chǔ)效率。其次，利用改進(jìn)的存儲(chǔ)策略將合并后的網(wǎng)頁(yè)大