網(wǎng)頁信息抽取方法研究與應用.pdf

1、隨著互聯(lián)網(wǎng)的迅猛發(fā)展，信息的豐富也帶來“信息過載”的問題，同時各種專業(yè)信息網(wǎng)站的不斷增多，為了給用戶提供準確有效的個性化信息服務，信息抽取成為必要。從網(wǎng)頁中抽取信息的程序稱為Wrapper。大型Web站點和新Web站點的不斷出現(xiàn)，要求Wrapper的構(gòu)造要盡可能自動化，不需要過多的人為參與，要盡可能快速，并且，構(gòu)造出的Wrapper要盡可能健壯，能適應網(wǎng)頁的變化。 針對Wrapper的構(gòu)造問題，人們提出了各種各樣的方法，但許多的

2、方法在減少人為參與時，準確率也會下降，許多方法不能適應網(wǎng)頁的變化，并且大多數(shù)的方法都由人來標記抽取結(jié)果。 針對上述存在問題，本文提出了一種基于相似網(wǎng)頁的網(wǎng)頁模板歸納方法和一種基于相似記錄的記錄模板歸納方法。網(wǎng)頁模板歸納方法在分析網(wǎng)頁結(jié)構(gòu)的同時，結(jié)合了內(nèi)容的語義特征，從而能快速準確地抽取出網(wǎng)頁的主題信息。記錄模板歸納方法，通過比較記錄子樹，確定記錄模板，能夠在記錄的表現(xiàn)模式存在一定的差異的情況下正確抽取出記錄數(shù)據(jù)。最后，結(jié)合傳統(tǒng)的

3、文本分類方法和隱式馬爾可夫模型提出了基于多學習策略的記錄字段抽取方法，可以從單個記錄中抽取有關(guān)的對象以及它們間的關(guān)系。 最后，基于本文提出的方法開發(fā)了一個IPTV (Intemet Protocol Television，交互式網(wǎng)絡電視)電視節(jié)目單信息抽取系統(tǒng)，從給定的電視頻道節(jié)目預告頁面中抽取出電視節(jié)目單信息，加入到數(shù)據(jù)庫中，為IPTV用戶提供及時、準確的電視節(jié)目預告服務。該系統(tǒng)已經(jīng)運用到3TNET高性能寬帶網(wǎng)中，從2006年