基于結構與視覺一致性的網頁新聞提取研究及應用.pdf

1、隨著互聯(lián)網的大規(guī)模普及和持續(xù)高速發(fā)展，成千上萬的新聞網站應運而生并源源不斷發(fā)布海量新聞網頁。然而計算機程序并不能直接地理解新聞網頁中哪些部分是新聞標題和正文，因而無法對網頁中的內容進行有效檢索。因此在網絡應用背景下的信息檢索對信息自動提取技術存在巨大需求。
　　 本文中研究了兩種各有特點的網頁新聞提取技術，并基于這兩種技術設計及實現了一個網頁新聞提取系統(tǒng)。1)本文首先研究了一種基于新聞網頁結構一致性的網頁新聞提取算法。該算法基于

2、網頁模板自動推導，并緊密結合新聞網頁的結構一致性特點：通過填充模板動態(tài)生成的網頁中包含的數據盡管各不相同，但都具有相似的網頁結構。該算法在傳統(tǒng)的模板推導算法基礎上引入了重復模式歸并技術，提高了網頁聚類過程的準確性。此外該算法通過有效利用少量的用戶標注，有效區(qū)分了網頁模板中的重要和無關內容。2)本文隨后研究了一種基于新聞網頁視覺一致性的網頁新聞提取算法。該算法具有與模板無關的優(yōu)點，能夠提取由未知模板生成的新聞網頁。該算法基于機器學習模型的