特定領(lǐng)域的Deep Web數(shù)據(jù)抽取與語義標注研究.pdf

1、隨著Internet技術(shù)的飛速發(fā)展，隱藏在Web后臺數(shù)據(jù)庫中的信息資源因為其數(shù)據(jù)量大、結(jié)構(gòu)完整受到了廣泛關(guān)注，這些信息資源通常是由用戶在Web查詢頁面提交查詢請求后，以HTML頁面為中介展示給用戶的。學者們通常將這些信息資源稱之為Deep Web資源。為了最大程度的利用這些Deep Web資源，需要通過各種技術(shù)手段將網(wǎng)頁中的無結(jié)構(gòu)或者半結(jié)構(gòu)化信息抽取出來。同時為了使抽取到的信息具有更高的使用價值，應該對這些數(shù)據(jù)進行語義標注，使其能夠被機

2、器所理解。
　　 本文對特定領(lǐng)域的Deep Web的數(shù)據(jù)抽取與語義標注進行了研究，將節(jié)點的類型信息引入到數(shù)據(jù)記錄的抽取中來，并基于本體實現(xiàn)了語義標注，最后結(jié)合自身參與的項目設(shè)計了一個原型系統(tǒng)。本文的研究工作主要包括以下幾點：
　　 1)簡要概述了信息抽取的發(fā)展歷史、評價標準和所涉及的相關(guān)技術(shù)，并對現(xiàn)有的信息抽取方法進行了深入的分析。
　　 2)結(jié)合Deep Web結(jié)果頁面自身的特點，利用頁面布局的視覺特征和內(nèi)容特

3、征，提出了一種利用標簽過濾器、視覺特征過濾器、內(nèi)容規(guī)則過濾器的頁面凈化方法。實驗結(jié)果表明，該方法可以有效提高后續(xù)數(shù)據(jù)抽取的效率與精度。
　　 3)提出一種基于節(jié)點類型的數(shù)據(jù)記錄抽取方法，該方法首先將HTML標簽節(jié)點分為塊、樣式、文本、圖片四種類型，并對每一種類型賦予一個權(quán)值，其次根據(jù)不同的節(jié)點類型來計算結(jié)果頁面數(shù)據(jù)記錄中各屬性節(jié)點的熵值，最后通過此熵值來確定代表數(shù)據(jù)記錄的節(jié)點，實現(xiàn)數(shù)據(jù)記錄節(jié)點的抽取。與其他方法相比，該方法具有更