主題爬蟲的實現(xiàn)及其關(guān)鍵技術(shù)研究.pdf

1、隨著互聯(lián)網(wǎng)的快速發(fā)展，信息的發(fā)布與傳播變得越來越快捷，網(wǎng)絡(luò)上的信息量也積累到了非常龐大的規(guī)模，這使得檢索信息變得日益困難，所幸搜索引擎能夠為用戶提供快速的信息檢索，它被人越來越多的使用并成為日常生活中的一種依賴。網(wǎng)絡(luò)爬蟲作為搜索引擎的抓取模塊，負(fù)責(zé)搜集互聯(lián)網(wǎng)上的網(wǎng)頁，爬蟲系統(tǒng)的爬行性能和搜集到的網(wǎng)頁質(zhì)量很大程度上影響了搜索引擎的服務(wù)質(zhì)量，所以爬蟲是搜索引擎的重要組成部分，值得研究和改進。近年來，受制于網(wǎng)絡(luò)的規(guī)模，通用爬蟲的負(fù)擔(dān)越來越繁重

2、，而專注于特定領(lǐng)域的主題爬蟲搜集的信息更有針對性，并且運行效率較高，于是得到了廣泛的重視和深入的研究。主題爬蟲為爬蟲領(lǐng)域開辟了一條新的路徑，具有很高的研究價值和實用價值，本文圍繞設(shè)計和實現(xiàn)一個主題爬蟲所涉及的各項技術(shù)展開討論，所做的主要工作和研究成果包括：
　　 (1)提出和實現(xiàn)了一種改進的搜索策略，主要是通過動態(tài)調(diào)整閾值，使爬蟲的搜索過程更有靈活性，可以有效解決主題爬蟲領(lǐng)域的隧道現(xiàn)象，平衡主題爬蟲的搜集覆蓋率和準(zhǔn)確率，使兩者都

3、達到較高的水平；
　　 (2)提出和實現(xiàn)了一種改進的相關(guān)度計算模型，主要是通過合理壓縮空間向量的維度，在不丟失準(zhǔn)確度的情況下，減少了計算的時間復(fù)雜度，可以有效提高計算速度；
　　 (3)研究了當(dāng)數(shù)據(jù)規(guī)模很大時，爬蟲系統(tǒng)如何實現(xiàn)URL的消重和網(wǎng)頁的存儲，前者主要是通過將索引建立成B-樹的結(jié)構(gòu)，從而有效的壓縮了維護URL隊列所需的空間，后者主要是放棄數(shù)據(jù)庫的存儲方式，將網(wǎng)頁按照一定的存儲格式，以文件方式予以保存，有利于數(shù)據(jù)的