基于XML用戶定義需求的WEB信息提取研究.pdf

1、隨著近些年互聯(lián)網(wǎng)的飛速發(fā)展，Internet已經(jīng)發(fā)展成為一個龐大的發(fā)布和共享信息資源的平臺。但是如何從海量、無結(jié)構(gòu)或半結(jié)構(gòu)化的數(shù)據(jù)中快速、高效地獲取用戶所需的信息仍然是亟待解決的熱點問題，因此WEB信息提取技術(shù)應(yīng)運而生。目前學(xué)者們已經(jīng)進行了大量的研究工作，但現(xiàn)有的技術(shù)仍然存在諸多不足之處:提取方法過于專業(yè)，不僅增加了用戶語義理解的負擔，而且不便于用戶使用;在提取過程中難以及時獲取用戶的反饋，影響提取效果;提取內(nèi)容越復(fù)雜，提取規(guī)則的健壯性

2、越差。
　　基于此，本文在對XML及相關(guān)標準和現(xiàn)有基于XML提取方法深入研究的基礎(chǔ)上，提出了一種基于XML用戶自定義需求的WEB信息提取方法。研究工作包括為以下幾方面內(nèi)容:
　　(1)對待提取頁面進行處理。HTML頁面經(jīng)過預(yù)處理過濾掉無關(guān)信息和代碼，轉(zhuǎn)換為格式規(guī)范的XML文檔，為使用戶清晰掌握頁面結(jié)構(gòu)，將XML文檔解析生成可視化的DOM樹形式，在節(jié)點轉(zhuǎn)換的過程中，標記每個節(jié)點類型，并計算其路徑表達式，為樣本映射和生成提取規(guī)則

3、做準備。
　　(2)實現(xiàn)用戶的提取需求的獲取。研究通過定義目標描述待提取數(shù)據(jù)節(jié)點間的層次關(guān)系，并且以此作為提取信息輸出時的樣式結(jié)構(gòu)。用戶標記的樣本則作為提取規(guī)則的生成依據(jù)，樣本按照映射規(guī)則以結(jié)構(gòu)映射或內(nèi)容映射的方式向目標結(jié)構(gòu)映射，從而得到待提取數(shù)據(jù)的節(jié)點類型信息和位置信息。
　　(3)實現(xiàn)提取規(guī)則的構(gòu)造。提取規(guī)則由一個或多個匹配目標結(jié)構(gòu)每層節(jié)點的模板構(gòu)成。模板根據(jù)目標結(jié)構(gòu)根節(jié)點是否存在結(jié)構(gòu)映射分別進行構(gòu)造。根節(jié)點存在結(jié)構(gòu)映射

4、，利用樣本結(jié)構(gòu)映射的class屬性匹配全文同類別節(jié)點，并利用相對路徑覆蓋父子關(guān)系和祖先后代關(guān)系，遞歸生成每層節(jié)點模板。根節(jié)點不存在結(jié)構(gòu)映射，通過其子節(jié)點獲取公共路徑作為模板匹配的起點，由于該起點位置是唯一的，因此提取僅為樣本數(shù)據(jù)。
　　最后通過對比實驗，驗證了本文提取方法的有效性，證明了該方法提取效果優(yōu)于現(xiàn)有的兩種方法。當提取內(nèi)容結(jié)構(gòu)復(fù)雜時，提取規(guī)則具有較好的健壯性。同時實現(xiàn)了該方法的原型系統(tǒng)，通過系統(tǒng)演示表明，用戶不僅能夠直觀的