Web新聞內(nèi)容抽取的研究與實現(xiàn).pdf

1、互連網(wǎng)上的信息，很大一部分是以新聞的形式提供給用戶的，Web新聞內(nèi)容抽取的研究，可以幫助用戶迅速地從海量互連網(wǎng)信息中獲取想要的信息，有很重要的現(xiàn)實意義以及研究價值。 決策樹是一種常用于預(yù)測模型的算法，在市場劃分、金融風險、產(chǎn)品開發(fā)以及客戶評估中已經(jīng)得到了比較廣泛的應(yīng)用。通過將大量數(shù)據(jù)有目的地分類，從中找到一些具有商業(yè)價值的、潛在的信息。本文將決策樹應(yīng)用到新聞網(wǎng)頁新聞的判決中，通過對目標數(shù)據(jù)的學(xué)習生成決策樹，根據(jù)生成的決策樹對未知

2、的輸入數(shù)據(jù)進行決策，實現(xiàn)對目標數(shù)據(jù)是否為新聞內(nèi)容的劃分，具有很好的實用效果。主要的工作如下： (1)提出了一種針對Web標準化網(wǎng)站的網(wǎng)頁分塊算法，該算法自頂向下遍歷Div節(jié)點樹，在遍歷的過程中根據(jù)當前節(jié)點的孩子節(jié)點的塊重來決定如何對網(wǎng)頁進行分塊。該算法對于目前國內(nèi)主流的新聞網(wǎng)站都可以適用。 (2)利用決策樹來抽取新聞內(nèi)容。對每個候選新聞內(nèi)容塊，抽取其特征屬性作為決策樹學(xué)習以及分類的輸入，并用學(xué)習出來的決策樹抽取新聞內(nèi)容塊