Deep Web數(shù)據(jù)抽取關鍵技術研究.pdf

1、隨著互聯(lián)網(wǎng)技術及其相關技術的迅猛發(fā)展，Web已經(jīng)逐漸成為最主要的信息來源。有效地獲取并集成Web數(shù)據(jù)，能夠為數(shù)據(jù)的分析挖掘提供強有力的幫助，具有十分重要的應用價值和意義。但是僅通過手工的方式對這些信息進行集成，在實際當中是一件非常困難的事情，難以有效利用Web信息。因此，Web數(shù)據(jù)自動化集成技術成為研究熱點。Web數(shù)據(jù)自動抽取即是Web數(shù)據(jù)集成自動化中的關鍵問題之一。
　　 Web數(shù)據(jù)抽取包含了Web數(shù)據(jù)的提取和語義標注。Web

2、數(shù)據(jù)抽取就是從Web頁面中識別并提取出用戶感興趣的信息，然后對這些信息進行處理，形成更為結構化且語義清晰，能被計算機理解處理的數(shù)據(jù)。
　　 按照獲取信息在Web的深度，可將Web劃分為SurfaceWeb和DeepWeb。目前，DeepWeb的信息量已經(jīng)遠遠超過了SurfaceWeb，數(shù)據(jù)質(zhì)量也比SurfaceWeb高，具有更高的應用價值。
　　 本論文以DeepWeb數(shù)據(jù)集成系統(tǒng)為目標應用，面向DeepWeb中異構的海

3、量數(shù)據(jù)，針對DeepWeb數(shù)據(jù)集成中的若干關鍵問題，所提出的創(chuàng)新性的工作主要包括以下兩個方面。
　　 (1)基于字符串模式匹配的頁面模板生成方法
　　 每個DeepWeb站點都會根據(jù)自己網(wǎng)站的主題，采用不同的布局風格設計頁面結構，展示頁面數(shù)據(jù)，不同站點的網(wǎng)頁設計各異。因此，從不同的數(shù)據(jù)源抽取數(shù)據(jù)，就需要一些有效的工具，提供相應的服務。目前主要是通過編寫包裝器，從HTML頁面上抽取數(shù)據(jù)。在許多抽取包裝器的研究中，構造Web

4、站點的頁面模板都是研究開始必須解決的一個關鍵問題?，F(xiàn)有的頁面模板生成方法難以處理復雜的頁面結構，影響了頁面模板的準確性和可靠性。本文提出了一個新穎有效的方法能夠自動的構造Web站點的頁面模板。該方法是基于字符串模式匹配自動搜尋Web頁面中的嵌套結構和重復結構，能夠處理復雜頁面，從而構造Web站點的頁面模板。
　　 (2)基于頁面視覺特征的Web數(shù)據(jù)語義標注方法
　　 現(xiàn)有的Web數(shù)據(jù)語義標注方法，多從數(shù)據(jù)本身出發(fā)，圍繞數(shù)

5、據(jù)項語義特征，模式特征以及數(shù)據(jù)項之間的邏輯關系，來分析數(shù)據(jù)的語義。在很多情況下，僅通過分析數(shù)據(jù)的語義特征，模式特征等，難以準確標注兩個位置鄰近，且語義特征或模式特征十分類似的數(shù)據(jù)項。本文提出了一種基于頁面視覺特征約束條件隨機場的Web數(shù)據(jù)標注方法，通過引入Web頁面視覺特征作為條件隨機場標注模型的約束條件提高語義標注的性能。首先，在對同類Web頁面進行數(shù)據(jù)抽取過程中，可以容易地獲得數(shù)據(jù)的頁面視覺特征，從而生成每條數(shù)據(jù)記錄對應的頁面視覺特