基于主題的互聯(lián)網信息抓取研究.pdf

1、互聯(lián)網信息抓取是利用計算機自動從互聯(lián)網中獲取信息的方法，在搜索引擎，情報收集系統(tǒng)中得到廣泛應用。傳統(tǒng)抓取技術主要研究對全網數(shù)據(jù)抓取策略的調優(yōu)，以保證信息的新鮮度。但是全網抓取會導致信息處理深度不夠，專業(yè)性不強，無法滿足企業(yè)的信息需求;而且大多數(shù)中小型企業(yè)并沒有足夠的計算資源支持全網信息抓取，所以基于主題的抓取系統(tǒng)應運而生。隨著聚焦爬蟲概念的提出，基于特定主題的抓取系統(tǒng)研究開始受到研究者的關注。如何使用最少的計算資源，抓取到盡可能多的主題

2、相關頁面是主題抓取系統(tǒng)面臨的主要挑戰(zhàn)。其中涉及到三個關鍵的問題:1）如何定義用戶主題;2）如何進行網頁主題判斷;3）如何預測待抓取URL的主題相關性，并制定相應的抓取策略。
　　本文深入研究了基于主題的互聯(lián)網信息抓取技術，分析了其中的關鍵問題，并提出了相應的解決方案，主要貢獻如下:
　　1)針對主題抓取系統(tǒng)的三個特點:主題需求的開放性，主題聚焦的層次性和主題信息的局部性，提出了基于主題知識庫的互聯(lián)網主題信息抓取框架。圍繞主題

3、知識庫，提供了綜合主題需求表達方式，知識學習流程和網頁主題判斷方法。通過主題富饒域挖掘模塊進一步優(yōu)化抓取效率。
　　2)針對主題表達的開放性和動態(tài)性問題，提出了基于穩(wěn)定詞集的主題需求封閉流程，并在此基礎上進一步提出了基于迭代式擴展-過濾框架的穩(wěn)定詞集構造方法。通過頻繁項挖掘和LDA分析兩種方法對核心主題詞進行擴展，并使用知識庫對擴展詞集進行過濾。實驗表明此方法獲得的穩(wěn)定詞集具有較強的主題代表性。
　　3)針對主題聚焦的層次性

4、問題，提出了基于本體的網頁主題判斷算法，并應用于主題爬蟲。利用本體中的概念以及概念間的位置關系，對網頁信息進行主題降維，并通過本體綜合加權提高主題判斷的準確性，從而提高主題抓取的收獲率。通過實驗與其他的降維方法進行比較，證明了利用本體進行主題降維的有效性。
　　4)針對互聯(lián)網信息的主題局部性特點，提出了基于主題富饒域的抓取策略。主題富饒域優(yōu)先(TRDF)算法根據(jù)主題濃度將主題域分為三個不同集合，針對不同集合采取差序化抓取策略。實驗