基于DOM樹的web新聞正文抽取技術的研究與實現.pdf

1、隨著Internet的發(fā)展，目前的網絡已經是一個巨大的數據存儲倉庫。Web新聞是現代人們獲取信息的重要源泉。但是互聯網中的信息與噪音幾乎是并存的。為了從這個巨大的數據存儲倉庫中獲得相關的信息，國內外已經做了很多研究。目前通用的抽取網頁新聞正文的方法主要有兩種：一種是過濾網頁中的噪音，另一種是直接定位網頁正文內容。在這篇文章中綜合使用這兩種方法來抽取網頁新聞的正文。
　　 由于網頁自身的特征，每個網頁都可以轉化為一棵DOM(Doc

2、ument ObjectModel)樹。所以對網頁的操作可以轉化為對樹的操作。STM(Simple Tree Matching)算法是計算兩個樹相似度的傳統(tǒng)方法，這里對STM算法進行改進使其可以對共享公共抽取路徑的網頁進行自動聚類。本文通過網頁分塊和網頁信息化的度量來定位主文本信息的位置。本文的方法可應用在結構化的網頁。本文使用自己的算法開發(fā)了一個基于在線新聞的正文抽取系統(tǒng)。本文的實驗是基于在線的新聞網站，結果也證實這個算法比RTDM(