基于本體的Web數(shù)據(jù)抽取Wrapper研究與實現(xiàn).pdf

1、作為在信息檢索領(lǐng)域的一個研究熱點，Web數(shù)據(jù)抽取技術(shù)已經(jīng)日益被眾多大學和研究機構(gòu)作為研究重點。Web數(shù)據(jù)抽取亦稱Web信息采集(Web Crawler、Web Spider、Web Robot或Web Worm)。Web數(shù)據(jù)抽取主要是從Web頁面所包含的無結(jié)構(gòu)或半結(jié)構(gòu)的信息中識別用戶感興趣的數(shù)據(jù)，并將其轉(zhuǎn)化為結(jié)構(gòu)和語義更為清晰的格式（XML、關(guān)系數(shù)據(jù)、面向?qū)ο蟮臄?shù)據(jù)等）。Web信息抽取工作主要由包裝器(Web Wrapper)來完成，包

2、裝器是一種軟件體系結(jié)構(gòu)，這個結(jié)構(gòu)使用已經(jīng)定義好的信息抽取規(guī)則，將網(wǎng)絡爬蟲搜集到的Web頁面的信息抽取出來，轉(zhuǎn)換為用特定的格式描述的信息。一個包裝器一般針對某一種數(shù)據(jù)源中的一類頁面。包裝器運用規(guī)則執(zhí)行程序?qū)嶋H要抽取的數(shù)據(jù)源進行抽取。當前包裝器在技術(shù)上主要是通過為待提取的目標建立相應的模板庫，并將文檔內(nèi)容與模板庫中的模板匹配而實現(xiàn)的。模板的表達能力直接影響系統(tǒng)的準確度。這些一般是采用關(guān)鍵詞與通配符的序列組合作為模板，但這種結(jié)構(gòu)有很大的局限

3、。首先很多情況下詞與詞之間并無固定的次序關(guān)系；其次詞的多義性常常會導致錯誤的分析結(jié)果。要克服這些局限，其一是增強模板的知識表達能力；其二是實現(xiàn)某種歧義消解機制。本文的主要研究工作如下：
　　 一、提出了一種基于本體的Wrapper(簡稱OBW)設(shè)計方法。該方法是設(shè)計了一個本體驅(qū)動的數(shù)據(jù)抽取包裝器，其利用本體對Web頁面進行解析并抽取領(lǐng)域相關(guān)數(shù)值，經(jīng)過解析包裝后這些包含領(lǐng)域相關(guān)數(shù)值的頁面文件被稱為語義Web頁面文件(SWPF)。查

4、詢處理器結(jié)合本體對這些語義Web頁面文件進行分析處理，最終找出相關(guān)數(shù)據(jù)和鏈接返回給用戶。
　　 二、針對特定領(lǐng)域構(gòu)建了一個本體，并詳細描述了該本體的構(gòu)成特點。在該本體的基礎(chǔ)上，詳細描述了OBW的工作過程，包括從Web頁面數(shù)值抽取到最終SWPF的生成。
　　 三、基于上述方法，本文設(shè)計并實現(xiàn)一個OBW數(shù)據(jù)抽取系統(tǒng)，通過用真實數(shù)據(jù)進行實驗，對運行結(jié)果進行了分析，針對存在的問題，提出了相應的改進方案。
　　 本體的構(gòu)建