基于Bootstrapping的領域知識自動抽取技術的研究.pdf

1、隨著互聯(lián)網(wǎng)的高速發(fā)展及其各種Web應用的快速增長,網(wǎng)絡上的信息規(guī)模急劇擴大。網(wǎng)絡已經(jīng)成為人們生活中重要的知識庫,人們對高效地獲取信息的需求尤為迫切。在網(wǎng)絡的海量數(shù)據(jù)中,包含了大量的半結構化的領域知識,例如電影、書籍和酒店等等,這些領域知識與我們的生活秘密相關。目前,雖然可以通過搜索引擎從海量數(shù)據(jù)中進行信息檢索,但是搜索的結果并不是非常可靠。而這些領域知識往往來自供應商的后臺數(shù)據(jù)庫,同時基于關鍵字匹配的搜索引擎由于自身的限制,不能索引這些

2、嵌入在半結構化的HTML網(wǎng)頁中的領域知識。如何從大規(guī)模的Web網(wǎng)站中自動抽取并組織這些領域知識成為信息抽取研究的熱點。Web信息抽取技術(Web Information Extraction)可以從半結構化的網(wǎng)頁中抽取數(shù)據(jù),并以結構化的方式存儲在數(shù)據(jù)庫中。
　　 本文在分析當前Web信息抽取技術的基礎上,利用標簽路徑技術(Tag Path Technique)代替DOM樹來表示HTML文檔。該表示方法大大降低了標簽的數(shù)量,提高了

3、算法的性能。針對半結構化的網(wǎng)站,提出了一種新的基于Bootstrapping的自動抽取領域知識的算法:(D_)omain-specific(K_)nowledge(E_)xtractionfrom(W_)ebsites,DKEW。DKEW利用本體(Ontology)來統(tǒng)一標注同一領域中抽取的半結構化數(shù)據(jù),便于存儲和查詢。DKEW首先利用基于標簽路徑技術的聚類算法對目標網(wǎng)頁進行聚類,過濾掉噪音網(wǎng)頁,DKEW只抽取包含詳細信息的半結構化網(wǎng)頁

4、。根據(jù)標簽路徑技術,提出一種新的模式定義。對同一類別的網(wǎng)頁,借助于機器學習方法和領域種子自動地進行模式學習。然后利用學習到的模式自動抽取領域知識并匹配到事先定義的領域本體,將匹配好的領域知識存儲在結構化的、便于查詢的知識庫表格中。在知識抽取的同時,利用新抽取的具有高可信性的領域知識來擴充領域種子和Ontology,以便下次迭代應用。最后,通過Bootstrapping方法將相關的知識抽取過程結合起來,使之成為一套無需人工監(jiān)督的自動抽取工