基于領域知識的網頁提取系統設計與實現.pdf

1、國際互聯網是一個巨大的知識寶藏，基于互聯網的信息搜索是目前研究的熱點，出現象Yahoo，Google，Baidu等著名的網絡搜索引擎，他們支持用戶利用關鍵字搜索相關網頁，由于網絡搜索引擎要面對廣泛的知識領域，因此針對某一領域如信息領域由于沒有足夠的背景知識，導致檢索到大量無關的網頁，具有較大相關性的網頁又很少，因此研究設計針對某一具體領域的網頁獲取系統有一定的理論意義和應用價值。 本文針對目前著名的網絡搜索引擎存在的不足，提出基

2、于領域知識的網頁采集模型框架，并設計一個實際系統，并將該系統應用于計算機領域的信息檢索，即用戶輸入關鍵字，檢索系統根據背景知識生成一系列的關鍵字，再根據新生成的關鍵字進行搜索，將搜索結果存入數據庫，供用戶查詢。本文的主要工作概括為以下幾點：提出基于背景知識進行網頁檢索，利用謂詞邏輯表示背景知識；輸入關鍵字，利用背景知識生成一系列關鍵字；采集器的集成；將采集到的網頁保存到MySQL數據庫中供用戶查詢；網頁相關性判斷。 本文首先綜述

3、了網頁信息采集的基本結構及國內外發(fā)展狀況，提出關鍵字與文本的映射、URL過濾，相似度等相關算法，并應用于一個實際系統之中。該系統分四個模塊，即關鍵字模塊，URL過濾模塊，數據庫，采集模塊。關鍵字模塊包括領域背景的建立，多關鍵字的檢索，文本映射問題；URL過濾模塊包括文本中包含的URL鏈接過濾判定，排序；數據庫包括了領域背景關鍵字本體的存儲，文本及文本中鏈接的存儲；采集部分介紹采集器的工作原理。 最后，通過實驗進行系統性能測試以及