面向領域的Web信息自動化抽取系統(tǒng)設計與實現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)技術的迅速發(fā)展，社會各行各業(yè)都在通過網(wǎng)絡與外界交互信息，Web信息呈顯海量和多元化，并且仍在急劇增長。在越來越多的實際應用需要從Web中抽取有價值的信息加以利用。不同網(wǎng)站網(wǎng)頁異構化和網(wǎng)頁自身半結構化特征使得Web信息難以分析和直接利用，另一方面，人們除了關注大眾新聞外，更多的是對一些與自己相關的特定領域信息感興趣。面向領域的Web信息抽取技術在實際應用中變得越來越重要。
　　 論文分析了當前的Web信息抽取國內外研究現(xiàn)

2、狀及發(fā)展趨勢，研究領域網(wǎng)站的特點并提出系統(tǒng)設計目標。本系統(tǒng)的特色是基于特定領域網(wǎng)站抽取用戶關注信息，能夠自動生成領域內不同網(wǎng)站的抽取規(guī)則，系統(tǒng)具有良好的抽取性能，并且容易擴展，可移植抽取不同領域網(wǎng)站。系統(tǒng)設計宗旨是努力提高系統(tǒng)的易用性，尋求在用戶參與負擔和系統(tǒng)抽取性能之間取得平衡。
　　 系統(tǒng)設計主要包括了數(shù)據(jù)采集模塊、網(wǎng)頁清洗模塊、抽取規(guī)則生成模塊、Web信息管理模塊等。其中抽取規(guī)則生成模塊為系統(tǒng)核心模塊，采用全自動化包裝器生

3、成算法MDR算法和DSE算法分別用來抽取兩類數(shù)據(jù)密集型網(wǎng)頁:列表頁和詳情頁。為了提高抽取結果的準確率，系統(tǒng)基于DOM樹模型設計了兩種方法過濾噪音:一種方法是根據(jù)領域網(wǎng)頁中用戶目標數(shù)據(jù)與噪音數(shù)據(jù)在結構上差異設計啟發(fā)式過濾噪音，另一種方法是根據(jù)相同領域下網(wǎng)站的詳情頁文本相似特點利用kNN文本分類方法過濾噪音。
　　 本文結合Java技術以網(wǎng)上招聘行業(yè)網(wǎng)站信息抽取為示例，實現(xiàn)了一個完整的面向領域Web自動抽取系統(tǒng)。經(jīng)對抽取結果評測表明