基于Web Community識別的聚焦爬蟲算法研究與設(shè)計.pdf

1、本文在對Web Community理論，文本分類技術(shù)和聚焦爬蟲理論的深入探討的基礎(chǔ)上，對基于Web Community識別的聚焦爬蟲算法進行了研究與設(shè)計，實現(xiàn)了應(yīng)用該算法的聚焦爬蟲系統(tǒng)并利用此聚焦爬蟲系統(tǒng)對該算法進行實驗評估。 本文所提出的聚焦爬蟲算法模型是Ilnproved-HITS-Expansion-IterationModel(HElM)，該模型是基于改進HITS的迭代算法進行擴展而形成的計算模型，基于該模型的算法為IH

2、EIM原型算法。為了符合聚焦爬蟲在線抓取網(wǎng)頁的特性，提出基于IHEIM原型算法的Adaptive IHEIM算法。在每次迭代過程中，對下一輪迭代擴展的目標作以界定，將此擴展目標界定定義為聚焦指數(shù)。 本文描述的應(yīng)用Adaptive IHEIM算法的聚焦爬蟲系統(tǒng)包括主題集合生成模塊，基本網(wǎng)頁集合生成模塊，分類器模塊，網(wǎng)絡(luò)圖計算模塊和抓取解析模塊。 本文的實驗對包括Adaptive IHEIM算法在內(nèi)的應(yīng)用在聚焦爬蟲上的四種算

3、法進行測評，即廣度優(yōu)先策略算法、基于鏈接上下文預(yù)測的算法、OPIC算法和Adaptive IHEIM算法，利用平均Harvest Rate和平均Target Recall作為對比目標，得到結(jié)論Adaptive IHEIM算法優(yōu)于其它三種算法。在對比Adaptive IHEIM算法取不同聚焦指數(shù)時，對不同聚焦指數(shù)作了平均Harvest Rate和平均Target Recall對比，得到結(jié)論每次迭代算法之后聚焦爬蟲的抓取效果有所提高，隨著抓