基于節(jié)點類型標(biāo)注的網(wǎng)頁主題信息提取技術(shù)研究.pdf

1、隨著互聯(lián)網(wǎng)的快速發(fā)展，網(wǎng)頁數(shù)量呈爆炸性增長。網(wǎng)頁中包含著豐富的內(nèi)容，既有用戶想要瀏覽的主題信息，也有對用戶形成干擾與主題無關(guān)的信息，如頁面導(dǎo)航條、推薦鏈接、廣告條、版權(quán)聲明等，后者通常被稱為網(wǎng)頁噪聲。網(wǎng)頁噪聲的存在給Web信息檢索帶來很大的難題，也對諸如網(wǎng)頁分類和聚類、知識挖掘、話題檢測、個性化信息推薦、數(shù)據(jù)挖掘等任務(wù)造成很大的影響。如果不將噪聲去除的話，信息檢索系統(tǒng)必然會得出很糟糕的檢索結(jié)果。因此，去除網(wǎng)頁噪聲，從網(wǎng)頁中抽取主題信息是

2、Web信息檢索的一個重要的基礎(chǔ)性工作。
　　在Web信息抽取領(lǐng)域，按照網(wǎng)頁主題信息抽取算法按照處理方式的不同，可以信息抽取方法分為三類：一、基于模板匹配的方法。這種方法主要基于網(wǎng)站中的頁面共享相同的模板，通過將網(wǎng)站的模板識別出來，然后利用模板對頁面進行匹配以識別網(wǎng)頁主題信息。二、基于機器學(xué)習(xí)的方法。這種方法主要適用于大規(guī)模網(wǎng)頁數(shù)據(jù)集的處理，首先利用人工標(biāo)注的網(wǎng)頁數(shù)據(jù)訓(xùn)練出網(wǎng)頁主題信息分類模型，然后利用分類器來識別網(wǎng)頁中的主題和非主

3、題信息。三、基于啟發(fā)式規(guī)則的方法。這類方法，基于頁面中的一些視覺特征或結(jié)構(gòu)特征或內(nèi)容特征來構(gòu)建啟發(fā)式規(guī)則集合。
　　考慮到基于啟發(fā)式規(guī)則的信息抽取方法具有較高的算法效率，以及考慮VIPS算法存在的不足，本文結(jié)合對網(wǎng)頁噪聲特點以及網(wǎng)頁性質(zhì)的觀察和統(tǒng)計，提出了一種基于DOM節(jié)點類型標(biāo)注(Node Type Annotation)的主題信息抽取算法——NTA算法。首先依據(jù)網(wǎng)頁中噪聲存在的形式，定義了4種節(jié)點類型：文本型節(jié)點、鏈接型節(jié)點、

4、圖片型節(jié)點和可忽略型節(jié)點，并且定義了節(jié)點的內(nèi)聚度(DoC)用于反映節(jié)點內(nèi)容的一致性。通過計算 DOM結(jié)構(gòu)中每個節(jié)點的內(nèi)容特征來確定節(jié)點類型以及節(jié)點的內(nèi)聚度，并給每個節(jié)點添加類型和內(nèi)聚度兩個屬性。在主題信息抽取階段，借助閾值以及節(jié)點文本密度來識別節(jié)點類型以及比較內(nèi)聚度來獲取所需的正文節(jié)點，并針對圖片和鏈接的篩選問題作出相應(yīng)的特殊處理，最后整合得到網(wǎng)頁的主題信息。本文方法彌補了VIPS不能抽取網(wǎng)頁主題信息的不足并且具有較好的算法效率，方法不

5、依賴特定標(biāo)簽因而也具有更好的通用性。
　　最后，基于本文NTA算法開發(fā)了一款網(wǎng)頁正文提取工具Web Clipper，從7大門戶網(wǎng)站選取了100多個新聞類網(wǎng)頁進行了測試，并且也與目前市面上的三款同類工具有道云剪報、印象筆記悅讀以及國外的Readability做了對比實驗。初步實驗結(jié)果顯示，本文所提出的算法的平均查全率為98.15％，平均查準(zhǔn)率為92.41%，NTA方法在F1指標(biāo)上為95.1%，比Evernote工具高出0.3%，比Y