基于信息熵的Web信息抽取技術(shù)研究.pdf

1、互聯(lián)網(wǎng)的高速發(fā)展導(dǎo)致網(wǎng)絡(luò)上出現(xiàn)了大量的Web文檔，而且這個(gè)數(shù)字還在快速增長(zhǎng)。然而由于Web信息的異構(gòu)性和動(dòng)態(tài)變化性，數(shù)量巨大的Web資源往往導(dǎo)致用戶無(wú)法快速捕捉其中的有用信息。如何從龐大的互聯(lián)網(wǎng)資源中及時(shí)準(zhǔn)確地對(duì)信息進(jìn)行過(guò)濾、抽取出對(duì)用戶有用的知識(shí)以形成一個(gè)統(tǒng)一的知識(shí)庫(kù)便于查詢檢索，已經(jīng)成為人工智能和互聯(lián)網(wǎng)研究中的一個(gè)重要課題。Web信息抽取的任務(wù)便是從Web文檔中抽取出用戶感興趣的信息。
　　 Web信息抽取以半結(jié)構(gòu)化的Web

2、文檔作為輸入，從海量的Web文檔中的無(wú)序信息中抽取出用戶所需要的信息，并將抽取出來(lái)的信息以結(jié)構(gòu)化的形式存入數(shù)據(jù)庫(kù)中以便用戶檢索和分析處理。而這些抽取出來(lái)的信息，由于去除了噪聲，作為信息源將能有效地提高以網(wǎng)頁(yè)分類(lèi)聚類(lèi)、信息檢索、問(wèn)答系統(tǒng)、Web挖掘等系統(tǒng)的性能。
　　 網(wǎng)頁(yè)為用戶提供了眾多的信息，其中夾雜著大量的噪聲信息，如由機(jī)器自動(dòng)生成的隱藏信息和由人工手動(dòng)添加的冗余信息，而僅有部分信息即核心信息是用戶所關(guān)心的。大量的噪聲信息給

3、Web信息抽取帶來(lái)了困難。在本文中，Web文檔中的信息被分為核心信息、冗余信息和隱藏信息，Web信息抽取進(jìn)而轉(zhuǎn)化成去除網(wǎng)頁(yè)中的噪聲信息，包括冗余信息和隱藏信息。
　　 本文利用網(wǎng)頁(yè)信息在網(wǎng)頁(yè)集中所呈現(xiàn)分布特點(diǎn)，結(jié)合DOM樹(shù)結(jié)構(gòu)與統(tǒng)計(jì)理論，提出了基于信息熵的Web信息抽取方法，它能夠自動(dòng)識(shí)別出噪聲信息，并保留關(guān)鍵信息。該方法將網(wǎng)頁(yè)解析成DOM樹(shù)以去除隱藏信息，在對(duì)葉子節(jié)點(diǎn)的文本進(jìn)行分詞并統(tǒng)計(jì)其分布情況，利用本文提出的不同信息熵計(jì)算

4、標(biāo)準(zhǔn)包括平均熵標(biāo)準(zhǔn)(theMean Entropy Criteria)和聯(lián)合熵標(biāo)準(zhǔn)(the Joint Entropy Criteria)分別計(jì)算出各葉子節(jié)點(diǎn)的平均熵和聯(lián)合熵，從而得到葉子節(jié)點(diǎn)ADMJ(The Absolute Difference betweenMean Entropy Criteria and Joint Entropy Criteria)值;然后按DOM樹(shù)結(jié)構(gòu)對(duì)葉子節(jié)點(diǎn)進(jìn)行分塊聚集，向上遞歸求得標(biāo)簽的A