基于標(biāo)簽路徑特征的網(wǎng)頁正文自適應(yīng)抽取方法研究.pdf

1、隨著互聯(lián)網(wǎng)的飛速發(fā)展，Web已經(jīng)成為重要的信息發(fā)布平臺。然而，Web網(wǎng)頁中除了正文信息，還包含著導(dǎo)航、廣告和版權(quán)信息等大量與網(wǎng)頁主題無關(guān)的“噪音”信息。網(wǎng)頁中的噪音信息會大大降低搜索引擎、新聞聚合等系統(tǒng)的效果，同時也為這些系統(tǒng)的存儲造成了負擔(dān)。因此，網(wǎng)頁正文抽取問題具有重要的研究意義和應(yīng)用價值。
　　本文開展的研究工作如下:
　　(1)提出了基于標(biāo)簽路徑特征融合的在線Web新聞內(nèi)容抽取方法CEPF。設(shè)計了標(biāo)簽路徑特征系，并提

2、出一種方法將標(biāo)簽路徑系中的特征融合為一個新的特征TPF。相對于標(biāo)簽路徑中的每個特征，TPF都具有更好的區(qū)分網(wǎng)頁正文和噪音的能力。在特征融合階段，一種基于譜聚類的特征選擇方法被用來刪除冗余的標(biāo)簽路徑特征。CEPF利用基于標(biāo)簽路徑編輯距離的高斯平滑方法更新TPF特征值，基于平滑后的TPF值和最大類間方差法自適應(yīng)地從網(wǎng)頁中抽取正文信息。CEPF方法是無監(jiān)督的。實驗結(jié)果表明，CEPF是一種準(zhǔn)確、通用且與語言無關(guān)的的Web新聞內(nèi)容抽取方法。

3、>　　(2)提出了基于長文本標(biāo)簽比的網(wǎng)頁正文抽取方法CELTR，該方法從網(wǎng)頁DOM樹中抽取對應(yīng)正文信息的子樹。CELTR使用最大類間方差法自適應(yīng)地為DOM樹的每個子樹計算長文本標(biāo)簽比(LTR)。在大多數(shù)情況下，對應(yīng)網(wǎng)頁正文的子樹比對應(yīng)網(wǎng)頁噪音的子樹具有更高的LTR值，但仍存在少數(shù)反常的情況，為此我們在LTR的基礎(chǔ)上擴展出LTRS和RLTRS。CELTR利用LTR、LTRS和RLTRS三個特征通過對子樹聚類的方法從網(wǎng)頁中抽取正文。CELT