基于遺傳算法的Web信息抽取技術(shù).pdf

1、隨著Web信息的迅速擴張，Web成為當今信息獲取和發(fā)布的事實標準。為此人們對信息抽取(IE)系統(tǒng)進行大量研究，以幫助用戶在浩瀚如煙的Web上準確有效地提取自己真正需要的信息。如今已出現(xiàn)大量的信息抽取系統(tǒng)，如W4F、RoadRunner、WHISK、RAPIER、WIEN等。它們在使用技術(shù)、自動化程度、適用領(lǐng)域等方面都存在一定的差異性。 IE系統(tǒng)中最重要的是抽取規(guī)則，它用來定位和識別待抽取的信息。WHISK系統(tǒng)是一個半自動的IE

2、系統(tǒng)，對結(jié)構(gòu)化、半結(jié)構(gòu)化的Web文本它都能使用生成的抽取規(guī)則進行信息抽取。但是它在規(guī)則學習過程中規(guī)則不能保證以最優(yōu)的方式進行擴展，且生成規(guī)則集的效率較低。針對以上問題，本文提出了利用遺傳算法改進WHISK的監(jiān)督式學習算法，并采用移除法生成規(guī)則集。算法主要實現(xiàn)以下功能：一、例子的預處理，包括例子去噪和例子標注；二、項的定義和轉(zhuǎn)化；三、用遺傳算法擴展規(guī)則；四、用移除法生成規(guī)則集。 我們還實現(xiàn)了一個用于在線挖掘網(wǎng)站的Web信息抽取系統(tǒng)

3、，應(yīng)用檢索規(guī)則探查不同網(wǎng)站，使用抽取規(guī)則抽取淺層知識，再進行統(tǒng)計分析發(fā)現(xiàn)變化趨勢。系統(tǒng)主要提供以下功能：1、根據(jù)檢索規(guī)則自動下載并解析網(wǎng)頁；2、在用戶的參與下，提供圖形用戶界面定義單槽抽取規(guī)則或通過學習算法生成多槽抽取規(guī)則；3、實現(xiàn)批量任務(wù)的自動抽取并存儲數(shù)據(jù)；4、對抽取的歷史數(shù)據(jù)，提供直觀的圖形顯示統(tǒng)計結(jié)果。 通過對多種類型的真實在線的網(wǎng)頁進行實驗分析，表明IE系統(tǒng)有較好的通用性；通過與WHISK系統(tǒng)的實驗結(jié)果進行比較分析，表