面向領域的Web數據集成中數據抽取的研究.pdf

1、隨著Internet及其相關技術的飛速發(fā)展，互聯(lián)網已成為最大的信息源。無論對于企業(yè)還是個人，Web逐漸成為最主要的信息來源。目前，90%的全球500強企業(yè)已建立了完善的市場情報分析系統(tǒng)。而中小型企業(yè)在資金、技術、人力等方面的不足，導致無法開展完善的市場情報分析工作。如何有效地集成Web數據，為中小型企業(yè)提供完善的市場情報分析支持，具有相當重大的意義。由于Internet上數據量具有動態(tài)性、分布性和多樣性等特點，如何從Internet上快

2、速、準確和穩(wěn)定地獲取有價值的商業(yè)信息，為市場情報分析提供支持，成為一個巨大的挑戰(zhàn)。 由于網站數量過多以及由此帶來的信息泛濫，使得有用信息的獲取越來越困難。獲取信息的傳統(tǒng)方式搜索引擎和Web查詢已無法滿足這種需求。而Web數據抽取技術可以滿足這種需求，它更側重于從Web文檔集合中發(fā)現相關文檔，并從中抽出用戶關心的數據，即將HTML等半結構化的數據轉換成為結構化的數據。目前大量的網上數據信息被保存在網站的后臺數據庫中，Web數據庫依

3、據用戶的查詢要求動態(tài)的生成Web頁面，即查詢相關的Web。由于這些Web頁面是由同一模板生成，所以Web頁面中的數據記錄之間具有極高的代碼結構相似性，Web數據記錄對應的DOM子樹之間自然也就具有很高的結構的相似性。 本文把為中小型企業(yè)提供完善的市場情報分析支持作為背景，在面向領域特征的基礎上，提出了可以從查詢相關的Web中抽取帶有語義描述的目標數據的Web數據抽取系統(tǒng)。本文所做的工作主要有頁面標簽的識別、數據抽取和標簽分配。頁

4、面標簽的識別是從Web Form中的Form標簽與相關的查詢結果列表頁面中的標簽的對應關系入手，提出了用機器學習技術和模式匹配技術來識別列表頁面中的標簽。數據抽取是從分析Web文檔與DOM樹的對應關系入手，提出了一種基于DOM樹匹配的模板檢測方法。該方法依據Web數據記錄和DOM樹的一一對應關系，通過分析多條數據記錄的代碼結構，得到數據記錄對應的模板，使用該模板可以實現對由該模板生成的所有類似數據記錄的發(fā)現和抽取。標簽分配利用Web F