基于視覺信息和樹匹配的Deep Web數(shù)據(jù)抽取問題研究.pdf

1、隨著網(wǎng)絡技術的快速發(fā)展和普及，Web已經(jīng)成為一個巨大的信息源集合，擁有著海量信息。Deep Web是由Web中可在線訪問的數(shù)據(jù)庫構成，具有信息量大、結構化程度高、領域覆蓋全面等特點，Deep Web對以分析挖掘為目標的應用系統(tǒng)有著十分重大的應用價值。隨著電子商務、市場情報等應用需求的增長，如何從Deep Web中獲取用戶感興趣的信息或數(shù)據(jù)，以便進行深度的分析從而提供更具價值的服務和應用，比如比價系統(tǒng)、元搜索等，已成為目前研究的熱點課題。

2、為了有效利用Deep Web，Deep Web數(shù)據(jù)集成應運而生，包括數(shù)據(jù)獲取、數(shù)據(jù)抽取和數(shù)據(jù)整合等環(huán)節(jié)，其中Deep Web數(shù)據(jù)抽取是其關鍵環(huán)節(jié)。
　　由于Deep Web的海量、異構等特點使得Deep Web數(shù)據(jù)抽取成為一項極具挑戰(zhàn)的工作，其主要困難有:(1)Deep Web涉及領域廣，數(shù)據(jù)量大，要實現(xiàn)Deep Web數(shù)據(jù)的自動抽取。(2)不同Deep Web頁面差距較大，抽取方法要有一定的適應性，確保其抽取的正確率和效率。

3、r>　　本文針對Deep Web中包含半結構化數(shù)據(jù)的列表頁面，利用頁面的視覺信息和樹匹配技術，實現(xiàn)了此類Web頁面中數(shù)據(jù)的全自動抽取，其主要貢獻和創(chuàng)新有以下兩點:
　　(1)列表頁面中數(shù)據(jù)記錄的識別和抽取
　　Web頁面的設計是為了方便用戶瀏覽，有著豐富的視覺信息，比如字體、布局、背景等。為了方便利用頁面的視覺信息，我們給出了頁面的表示模型——視覺塊樹，相較于VIPS等頁面分塊技術，這里沒有使用任何假設和啟發(fā)式規(guī)則，更能客觀

4、的反應頁面信息。
　　為了抽取數(shù)據(jù)記錄，我們首先識別出數(shù)據(jù)區(qū)域，這里結合列表頁面的視覺特征，給出了數(shù)據(jù)區(qū)域識別算法，相較于傳統(tǒng)方法，此算法有較強的適應性。對于數(shù)據(jù)區(qū)域下數(shù)據(jù)記錄的識別，本文采用一種序列劃分的策略，其基本思想是先對數(shù)據(jù)區(qū)域樹下子樹聚類，根據(jù)聚類的結果信息對子樹序列進行劃分，過濾掉噪聲節(jié)點從而確定每條數(shù)據(jù)記錄的邊界，最終實現(xiàn)數(shù)據(jù)區(qū)域下數(shù)據(jù)記錄的抽取工作。
　　(2)基于樹匹配技術實現(xiàn)數(shù)據(jù)項對齊
　　數(shù)據(jù)項對