基于新型坐標樹的頁面分析和內(nèi)容提取框架.pdf

1、隨著互聯(lián)網(wǎng)的發(fā)展和動態(tài)網(wǎng)頁生成技術(shù)的成熟，網(wǎng)頁的數(shù)量呈爆炸性的增長。而為了商業(yè)上的考慮和網(wǎng)站的維護，很多網(wǎng)頁都充斥著很多重復性高且與網(wǎng)頁主題內(nèi)容無關(guān)的信息。例如：廣告、表單和版權(quán)聲明等。這些內(nèi)容充斥在每個網(wǎng)頁但是卻多半不是使用者想要的信息。而目前一般的搜索引擎無法辨別這些不相關(guān)的部分，便索引網(wǎng)頁所有部分，這不但會使得索引檔案巨大而不易管理，也會使搜索結(jié)果產(chǎn)生偏差。另外，當使用者利用小型顯示裝置，如：掌上電腦(PDA)，手機等，瀏覽網(wǎng)頁時

2、，也必須經(jīng)過多次的滾動頁面和找尋才能得到想要的信息。所以，在論文中我們提出了一種網(wǎng)頁結(jié)構(gòu)分析和內(nèi)容提取系統(tǒng)來獲得網(wǎng)頁中真正有信息的部分，以提高基于網(wǎng)頁內(nèi)容的應(yīng)用系統(tǒng)的服務(wù)質(zhì)量。 針對HTML的半結(jié)構(gòu)化特征和DOM缺乏位置信息和空間關(guān)系描述的不足，本文提出了一種新型的Web頁面分析和內(nèi)容提取框架，該框架既包括一種新型的含有位置信息的頁面坐標樹模型，還包括能反映空間關(guān)系的Graph模型。通過將HTML文檔轉(zhuǎn)換為坐標樹，并結(jié)合位置特征

3、和空間關(guān)系可對網(wǎng)頁進行分析和提取內(nèi)容。 對來自120個網(wǎng)站的5000個網(wǎng)頁進行測試后的結(jié)果表明該方法可達到93．87％的準確率，并且對相關(guān)連接和相關(guān)圖片的抽取有較高的準確率和召回率。這表明我們的方法可以很有效的提取出網(wǎng)頁的主題內(nèi)容，這對基于網(wǎng)頁內(nèi)容的應(yīng)用系統(tǒng)和基于網(wǎng)頁超鏈指向的應(yīng)用系統(tǒng)都有很大幫助。 在本文的最后我們提出了一種基于決策支持向量機的網(wǎng)頁自動分類系統(tǒng)，并將我們的主題內(nèi)容提取方法應(yīng)用到該系統(tǒng)，實驗表明主題提取提