基于Web的信息抽取技術研究.pdf

1、隨著互聯(lián)網(wǎng)的快速發(fā)展和普及，人們越來越依賴于網(wǎng)絡獲取信息。作為海量的信息來源，Web可以看成是一個巨大的數(shù)據(jù)庫，包含著各種各樣有價值的信息?；赪eb的信息抽取技術就是研究如何從這些Web源中抽取出用戶感興趣的信息，并把這些抽取出的信息表示成更具有語義，更為結構化的形式，以便加以利用。該技術起源于信息抽取技術，但由于Web信息的自身特點，該技術已經(jīng)和傳統(tǒng)的基于純文本的信息抽取技術有了很大的不同。 目前，大量Web信息被保存在網(wǎng)站

2、的后臺數(shù)據(jù)庫中，這些信息在網(wǎng)頁上的顯示有一些共同的特征，即通常把數(shù)據(jù)庫中的數(shù)據(jù)插入到網(wǎng)頁的一個模板中，其表現(xiàn)形式就是網(wǎng)頁的主體部分有多個局部信息塊組成，局部信息塊有多個數(shù)據(jù)項構成。這類網(wǎng)頁被稱為數(shù)據(jù)密集型(data-rich)網(wǎng)頁，由于該類網(wǎng)頁富含大量有價值的信息，因此，研究如何對這類網(wǎng)頁進行Web信息抽取有重大的意義和實用價值。 對于上述數(shù)據(jù)密集型網(wǎng)頁，本文采用基于XML的相關技術來解決Web信息的抽取問題。其解決方案是：首先

3、獲得目標網(wǎng)頁，并將該HTML文檔以文檔對象模型DOM為中介，轉換為形式上的XML文檔，然后根據(jù)這類網(wǎng)頁的特征，把該網(wǎng)頁中信息的布局視為基于行和列的二維表形式，用戶根據(jù)自身需求，通過與系統(tǒng)交互，系統(tǒng)半自動地生成基于行和相關列的XPath位置路徑表達式作為抽取規(guī)則，根據(jù)抽取規(guī)則定位到待抽取的信息，從而實現(xiàn)信息的準確抽取，抽取的結果用XML來表示。 本文開發(fā)了一個原型系統(tǒng)，系統(tǒng)能夠完成對數(shù)據(jù)密集型網(wǎng)頁和新聞網(wǎng)頁的信息抽取，實驗表明本文