搜索引擎中基于XML的網(wǎng)頁(yè)預(yù)處理方法研究.pdf

1、隨著互聯(lián)網(wǎng)技術(shù)的迅速發(fā)展，在線中文網(wǎng)頁(yè)的數(shù)量迅猛增加，互聯(lián)網(wǎng)上的信息量越來越大。搜索引擎能夠有效地組織和分析海量的信息資源，幫助用戶迅速地獲取其所需要的知識(shí)和信息。然而互聯(lián)網(wǎng)上的信息存在以下問題：網(wǎng)頁(yè)信息中通常伴隨著一些與用戶需求無關(guān)的噪音內(nèi)容，例如版權(quán)聲明信息、廣告及導(dǎo)航信息等，網(wǎng)頁(yè)本身缺乏必要的描述性信息，網(wǎng)頁(yè)之間通過復(fù)雜的超鏈接聯(lián)系起來等，這些問題影響了搜索引擎提供服務(wù)的質(zhì)量。
　　在搜索引擎中,預(yù)處理模塊的任務(wù)是凈化網(wǎng)頁(yè)內(nèi)

2、容、提取網(wǎng)頁(yè)元數(shù)據(jù)、提取網(wǎng)頁(yè)正文內(nèi)容等。凈化網(wǎng)頁(yè)的目的是去除網(wǎng)頁(yè)中的噪音內(nèi)容，從而實(shí)現(xiàn)噪音信息和正文內(nèi)容的分離。網(wǎng)頁(yè)元數(shù)據(jù)指的是網(wǎng)頁(yè)的描述性信息，網(wǎng)頁(yè)元數(shù)據(jù)的合理使用有助于搜索引擎對(duì)網(wǎng)頁(yè)信息的處理，為搜索引擎提供擴(kuò)展查詢的手段，使得搜索引擎在信息檢索過程中不僅僅依靠關(guān)鍵詞的匹配。網(wǎng)頁(yè)標(biāo)識(shí)、網(wǎng)頁(yè)類型、關(guān)鍵詞、摘要、更新日期等元數(shù)據(jù)的使用，可以為用戶提供更加全面的網(wǎng)頁(yè)信息，有助于提高查詢的準(zhǔn)確率。正文內(nèi)容是網(wǎng)頁(yè)的主體，它包括網(wǎng)頁(yè)的主題內(nèi)容和

3、相關(guān)超鏈接，正文內(nèi)容的提取是預(yù)處理模塊的主要任務(wù)。
　　本文以預(yù)處理模塊中網(wǎng)頁(yè)的預(yù)處理過程為線索，首先總結(jié)了當(dāng)前預(yù)處理模塊中的主要問題的解決方法。然后分析了網(wǎng)頁(yè)類型的判斷、網(wǎng)頁(yè)標(biāo)題的提取，網(wǎng)頁(yè)摘要的生成，相關(guān)超鏈接的提取，預(yù)處理后網(wǎng)頁(yè)的存儲(chǔ)等內(nèi)容。對(duì)預(yù)處理模塊需要完成的工作進(jìn)行了深入的研究。在傳統(tǒng)的網(wǎng)頁(yè)預(yù)處理方法的基礎(chǔ)上，提出了網(wǎng)頁(yè)的文檔對(duì)象模型，通過模型表示網(wǎng)頁(yè)中的元數(shù)據(jù)和正文內(nèi)容。
　　實(shí)驗(yàn)結(jié)果表明，在對(duì)網(wǎng)頁(yè)文檔建立索引