基于規(guī)則引擎的個性化網頁爬蟲研究.pdf

1、目前互聯網已經成為公眾生活的必需品，大家的工作生活都需要從互聯網上查找信息，搜索引擎在互聯網信息查找的過程中起了非常重要的作用。
　　 以Google為首的各種綜合搜索引擎在幫助用戶從互聯網上查找信息，但是搜索的結果只能是信息所在的網址，這種方式非常適合靜態(tài)網頁，但是現在動態(tài)網頁越來越多，用戶搜索需要的是非結構化網頁里的結構化信息，例如不同網站的票務信息、房產信息、商品信息等等，目前要得到這些信息可以通過垂直搜索引擎的主題爬蟲實

2、現，但是現在的垂直搜索引擎對這些信息的提取一般分為兩種策略，一種是先用主題爬蟲抓取網頁，再對抓取的網頁進行分析提??；另一種是主題爬蟲在抓取網頁時就進行提取。前一種抓取網頁比較廣泛，但是分析時速度較慢，無關網頁較多，效率比較低，現在一般采用的是后一種方式，這種方式精確度高，抓取準確，頁面信息提取也較快。
　　 不論采用哪種方式，信息的提取都具有很強的針對性，但目前主題爬蟲廣泛存在配置不靈活，用戶參與度不夠等問題，論文通過研究搜索引

3、擎和規(guī)則引擎技術，提出了利用規(guī)則引擎建立搜索引擎的配置機制，以實現能個性化配置的主題爬蟲的目的。
　　 論文中將個性化主題爬蟲的爬行過程設計為由規(guī)則編輯器模塊、規(guī)則引擎模塊和爬蟲抓取模塊三個部分組成。先由規(guī)則編輯器模塊制定爬行所需要的規(guī)則庫，然后在抓取任務執(zhí)行過程中將事實數據和規(guī)則庫都提交給規(guī)則引擎模塊，最后由規(guī)則引擎模塊根據規(guī)則指導爬蟲抓取模塊的運行。
　　 為了簡化規(guī)則庫的設定，將爬蟲抓取模塊分成了由五個小任務完成，

4、分別是預抓取處理、抓取處理、內容抽取處理、寫入和索引處理、后置處理，每一個小任務都將對應的常用算法轉換了規(guī)則引擎處理模式，使得用戶可以通過設定規(guī)則庫文件，靈活調整爬蟲的工作方式，最后將整個個性化主題爬蟲加上用戶控制，從而使得每個用戶都可設定自己的爬蟲，而不會影響到其他用戶，還可以共享自己設置的規(guī)則庫。
　　 通過這種方式替換傳統(tǒng)的配置模式，達到提高配置的靈活性，降低用戶使用難度的目的，最后利用實例證明這種方式的可行性。