Web內(nèi)容抽取及語義識別算法研究.pdf

1、隨著Internet的發(fā)展，互聯(lián)網(wǎng)作為一個(gè)功能強(qiáng)大的網(wǎng)絡(luò)媒體，它實(shí)際上是一個(gè)雙刃劍，它在作正面的媒體宣傳和導(dǎo)向時(shí)，也難免被敵對勢力所利用。因此，基于網(wǎng)頁內(nèi)容的信息安全技術(shù)研究已經(jīng)成為信息安全的一個(gè)重要分支。而基于內(nèi)容的信息安全的具體實(shí)現(xiàn)中最有效的就是文本分類，快速而準(zhǔn)確地識別網(wǎng)頁主題內(nèi)容是提高分類準(zhǔn)確度的關(guān)鍵技術(shù)之一。本文就Web頁面結(jié)構(gòu)分析和主題內(nèi)容提取以及對抽出文本的平面分類進(jìn)行了研究。 首先，本文介紹了Web網(wǎng)頁的特點(diǎn)和H

2、TML語言以及DOM(DocumentObjectModel)樹的特點(diǎn)和應(yīng)用。其次，文中介紹了相關(guān)研究工作，對比分析了幾種Web頁面結(jié)構(gòu)分析和主題內(nèi)容提取的方法，并在此基礎(chǔ)上提出了自己的兩種方法，分別是基于統(tǒng)計(jì)的主題內(nèi)容提取方法和基于新型坐標(biāo)樹的主題內(nèi)容提取方法?；诮y(tǒng)計(jì)的方法是一種簡單而有效的方法，它從本質(zhì)上抓住了網(wǎng)頁的設(shè)計(jì)特征和HTML源代碼的特征，通用性高。實(shí)驗(yàn)表明該方法切實(shí)可行，具有較高的準(zhǔn)確率。但該方法只對主題文字內(nèi)容有效，對

3、相關(guān)連接和相關(guān)圖片等多媒體信息就顯得力不從心。因此，本文又提出新型的基于坐標(biāo)樹的方法，該方法針對DOM缺乏位置信息的不足，加入了坐標(biāo)信息生成坐標(biāo)樹，并且還給出了能反映網(wǎng)頁空間關(guān)系的圖模型。通過將HTML文檔轉(zhuǎn)換為坐標(biāo)樹，結(jié)合位置特征和空間關(guān)系可對網(wǎng)頁進(jìn)行分析和提取內(nèi)容。對來自120個(gè)網(wǎng)站的5000個(gè)網(wǎng)頁進(jìn)行測試后的結(jié)果表明該方法可達(dá)到93.78％的準(zhǔn)確率，并且對相關(guān)連接和相關(guān)圖片的抽取有較高的準(zhǔn)確率和召回率。最后，本文對文本分類做了簡單