基于ontology的Blog信息抽取技術(shù)研究.pdf

1、Blog作為一種新興的個(gè)人媒體，正逐步流行于互聯(lián)網(wǎng)中。它承載了大量有價(jià)值的信息，已經(jīng)成為當(dāng)前互聯(lián)網(wǎng)應(yīng)用研究中的一個(gè)熱點(diǎn)。針對(duì)Blog的研究諸如Blog社區(qū)發(fā)現(xiàn)，Blog主題提取等日益引起人們的關(guān)注，這些研究都需要結(jié)構(gòu)化的Blog信息。于是對(duì)Blog網(wǎng)頁的信息抽取成為不可或缺的研究?jī)?nèi)容。
　　Blog網(wǎng)頁的信息抽取相比于傳統(tǒng)網(wǎng)頁的信息抽取有著很大的區(qū)別。首先，Blog網(wǎng)站由于自身信息量大的特點(diǎn)，廣泛使用了Web2.0的Ajax技術(shù)。

2、普通的網(wǎng)絡(luò)爬蟲無法獲取這種異步傳輸?shù)臄?shù)據(jù)內(nèi)容。其次，Blog網(wǎng)站強(qiáng)調(diào)個(gè)性化的理念，它們?cè)试SBlog的作者隨意修改自己Blog網(wǎng)頁的布局。這就讓原本已是半結(jié)構(gòu)化難以處理的HTML網(wǎng)頁信息更靈活，給傳統(tǒng)的信息抽取算法提出了個(gè)難題。
　　本文對(duì)Ajax技術(shù)進(jìn)行深入的分析之后，提出了通過執(zhí)行JavaScript與重建DOM樹的方式獲取異步網(wǎng)頁信息的方案。該方案在本文的原型系統(tǒng)中實(shí)現(xiàn)，實(shí)驗(yàn)中對(duì)sohu.com,sina.com等幾個(gè)國(guó)內(nèi)大型

3、應(yīng)用Ajax技術(shù)的Blog網(wǎng)站進(jìn)行數(shù)據(jù)抓取，實(shí)驗(yàn)準(zhǔn)確率能達(dá)96％以上，效果較為理想。
　　本文對(duì)Blog網(wǎng)頁的結(jié)構(gòu)和語義信息進(jìn)行了深入的分析之后，定義了網(wǎng)頁“塊(Block)”的概念。根據(jù)Blog網(wǎng)頁半模板化的特點(diǎn)，提出了使用結(jié)構(gòu)與語義兩個(gè)特征作為信息抽取的依據(jù)。本文提出使用ontology來表示Blog中信息與Block的關(guān)系，Block與Block的關(guān)系，語義與Block的關(guān)系以及語義與信息的關(guān)系，建立Blog信息抽取的知識(shí)庫