Web網(wǎng)頁(yè)正文抽取方法研究.pdf

1、隨著Internet的迅速發(fā)展，WWW已發(fā)展為一個(gè)龐大的信息空間，為人們供了極其豐富的信息資源。然而一個(gè)網(wǎng)頁(yè)的正文四周，通常會(huì)夾雜著許多與正文不相關(guān)的“噪音信息”，這些內(nèi)容往往對(duì)人們?yōu)g覽網(wǎng)頁(yè)造成干擾。如何幫助人們提取出網(wǎng)頁(yè)正文，避開不相關(guān)的信息干擾，對(duì)于Web數(shù)據(jù)清洗、文檔自動(dòng)摘要的形成以及文檔分類等諸多領(lǐng)域的應(yīng)用都是非常有意義的。
　　 本文對(duì)DSE(Data-rich Sub-tree Extraction)算法進(jìn)行分析，提

2、出了一種改進(jìn)的基于網(wǎng)頁(yè)結(jié)構(gòu)和內(nèi)容的網(wǎng)頁(yè)正文抽取算法--DTE(DOM-Based TextExtraction)，設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)網(wǎng)頁(yè)正文抽取原型系統(tǒng)，并將該算法應(yīng)用到其中。DTE算法彌補(bǔ)了許多已有算法只關(guān)注網(wǎng)頁(yè)結(jié)構(gòu)或只關(guān)注網(wǎng)頁(yè)內(nèi)容的不足，同時(shí)考慮網(wǎng)頁(yè)的結(jié)構(gòu)和內(nèi)容。
　　 DTE算法在把網(wǎng)頁(yè)解析成DOM樹的基礎(chǔ)上，通過(guò)對(duì)DOM樹的節(jié)點(diǎn)比較和匹配，確定網(wǎng)頁(yè)的噪音信息節(jié)點(diǎn)和正文信息節(jié)點(diǎn)，從而精確獲取網(wǎng)頁(yè)模板。當(dāng)新網(wǎng)頁(yè)出現(xiàn)時(shí)，使用得到