網絡數(shù)據(jù)源模式識別方法及策略研究.pdf

1、當今,網絡上存在許多在線的可搜索數(shù)據(jù)庫,稱為網絡數(shù)據(jù)庫。這些數(shù)據(jù)庫的數(shù)量以驚人的速度增長,網絡已經快速的被“加深”了。由于網絡數(shù)據(jù)庫中的數(shù)據(jù)隱藏在查詢表單背后,不能被傳統(tǒng)的搜索引擎索引,所以這種網絡數(shù)據(jù)庫又被稱作深層網絡,而含有查詢表單的網頁被稱作網絡數(shù)據(jù)源。不像傳統(tǒng)的以提供鏈接為導航的表面網絡,這種深層網絡支持以查詢的方式訪問隱藏在查詢接口背后的數(shù)據(jù)庫。在2000年發(fā)布的調查中,深層網絡中蘊含的信息量超過表面網絡上千倍,而且這個比例仍

2、在持續(xù)不斷地上升。UIUC大學曾經在2004年對整個深層網絡的規(guī)模作了一次估計,結果表明深層網絡中可訪問的網絡數(shù)據(jù)庫的數(shù)量超過了45萬個。對于這些實際上數(shù)量無限的信息資源,大規(guī)模集成深層網絡是必需的而且意義深遠。
　　 針對被“保護”起來的數(shù)據(jù),查詢接口就成為了訪問深層網絡的入口。這些接口,例如:查詢表單,通過查詢條件訪問背后的數(shù)據(jù)實體。為了模型化和集成化網絡數(shù)據(jù)庫,首要問題是理解查詢表單。針對于深層網絡數(shù)據(jù)集成的研究需要,基于

3、國內外有關網絡數(shù)據(jù)源模式識別的研究成果,本文提出了一種識別網絡數(shù)據(jù)源模式的方法。該方法建立在統(tǒng)計分析的基礎上,通過觀察大量含有查詢表單的數(shù)據(jù)源,發(fā)現(xiàn)查詢表單表現(xiàn)的一般結構,從而確定可能存在的表單語法。雖然來源不同,但是表單語法引導著查詢表單的生成。因此,本文建立了識別網絡數(shù)據(jù)源模式的系統(tǒng)框架,通過設計一個代碼序列語法和一個自動機解析器實現(xiàn)對表單語法的捕獲,進而理解并自動提取網絡數(shù)據(jù)源表單信息。實驗結果表明這種方法是有效的,識別網絡數(shù)據(jù)源