Web信息抽取技術研究與基于Web service的實現(xiàn).pdf

1、隨著Internet技術的發(fā)展,WWW上積累了大量數(shù)據(jù),成為世界上最大的數(shù)據(jù)源.但Web信息多以HTML格式分布,缺乏語義信息,造成大量的Web數(shù)據(jù)不能直接為應用程序直接使用.為了使大量的Web數(shù)據(jù)能夠為以數(shù)據(jù)為驅(qū)動的應用所使用,人們廣泛采用了信息抽取技術,現(xiàn)已成為當前研究熱點之一.在以往的工作中,我們實現(xiàn)了基于結構的信息抽取技術,在Web網(wǎng)頁顯示特征的深入分析基礎上,以Xpath、Xquery作為抽取規(guī)則,給出了一套抽取規(guī)則的生成、優(yōu)

2、化方案.試驗結果表明這套方案所使用的方法具有較高的查準率、查全率.但在該方法中對Web網(wǎng)頁結構的幾個特殊情況只做了特定地分析,缺乏理論上地系統(tǒng)闡述,對抽取能力的表達也不夠充分.該文仔細研究了基于結構信息抽取方法的典型系統(tǒng),借鑒非1NF關系數(shù)據(jù)庫的關系模式的平面化/嵌套化操作,引入了DOM的平面化/嵌套化理論,對Web網(wǎng)頁結構做了深入分析.給出了三種基本類型的平面化/嵌套化情況:(1)集合對象平面化;(2)元組對象平面化;(3)DOM結構

3、嵌套粒度過大.分析了各種平面化/嵌套化對抽取的影響之后,引入了結構重組規(guī)則,針對各種平面化情況采用結構重組規(guī)則給出了相應的具體解決方案,提高了系統(tǒng)的抽取能力.結合Web網(wǎng)頁結構的上下文環(huán)境,對各種結構重組規(guī)則的具體解決方法的適應性進行了詳細的分析,初步討論了基于結構的信息抽取技術的抽取能力.規(guī)則重構規(guī)則中區(qū)分節(jié)點的方法不局限于基于結構的信息抽取技術,還可以采用其他信息抽取技術的方法,提高了現(xiàn)有信息抽取技術的效率和健壯性,同時為各種信息抽