基于頁面結(jié)構(gòu)分析的語義數(shù)據(jù)抽取方法研究.pdf

1、隨著互聯(lián)網(wǎng)上的信息呈現(xiàn)爆炸式的增長，在海量的數(shù)據(jù)下用戶想獲得基于特定領(lǐng)域的知識變得越來越困難，知識庫技術(shù)的發(fā)展為基于領(lǐng)域知識的查詢提供了可能，為了能夠構(gòu)建更好的知識庫，就需要將Web上的信息充分利用起來，因此Web語義數(shù)據(jù)抽取技術(shù)成為現(xiàn)在研究的一個熱點問題。近些年各種各樣的Web語義數(shù)據(jù)抽取技術(shù)涌現(xiàn)出來，這些方法能夠一定程度上解決 Web語義數(shù)據(jù)抽取過程中出現(xiàn)的一些問題，但仍然有不足之處，其中基于領(lǐng)域本體的抽取方法利用本體對領(lǐng)域知識描述

2、的準確性和全面性取得了良好的效果，但是領(lǐng)域本體的構(gòu)建需要領(lǐng)域?qū)＜彝耆止ぞ帉戧P(guān)于這個領(lǐng)域的本體知識庫，基于DOM樹的抽取方法能夠通過使用DOM樹的操作來完成對語義數(shù)據(jù)的抽取，但是生成的規(guī)則不具有普適性。針對以上問題和對大量頁面進行分析之后，本文提出了一種基于頁面結(jié)構(gòu)分析的語義數(shù)據(jù)抽取方法，利用Web頁面的頁面結(jié)構(gòu)和標(biāo)準領(lǐng)域本體共同抽取語義數(shù)據(jù)，能夠充分利用領(lǐng)域本體對知識庫描述的準確性和全面性，并且挖掘DOM樹結(jié)構(gòu)中存在的特征規(guī)律，提高語

3、義數(shù)據(jù)抽取的準確性和查全率。
　　本研究主要內(nèi)容包括：⑴對語義網(wǎng)和知識庫技術(shù)進行了深入的分析，研究和總結(jié)了當(dāng)前存在的典型的Web語義信息抽取技術(shù)，提出了基于頁面結(jié)構(gòu)分析的語義數(shù)據(jù)抽取方法，提出了將語義數(shù)據(jù)抽取分為兩階段，第一階段是利用標(biāo)準領(lǐng)域本體和頁面 HTML結(jié)構(gòu)構(gòu)建面向特定網(wǎng)絡(luò)站點的核心本體，第二階段是基于頁面結(jié)構(gòu)分析對核心本體進行擴展，得到面向特定網(wǎng)絡(luò)的領(lǐng)域知識庫。⑵結(jié)合標(biāo)準領(lǐng)域本體和頁面結(jié)構(gòu)特征，設(shè)計了構(gòu)建面向特定網(wǎng)絡(luò)核心

4、本體的方法，提出了利用領(lǐng)域本體和 Web頁面結(jié)構(gòu)信息構(gòu)建核心本體的方法，為了解決標(biāo)準領(lǐng)域本體映射網(wǎng)頁內(nèi)容不夠靈活的問題，提出了結(jié)合維基百科對領(lǐng)域本體使用TF-IDF算法進行特征詞擴展的方法，在計算兩個詞語相似度的問題上，本文使用Word2vec方法基于維基百科語料庫將詞語訓(xùn)練成詞向量的格式來計算語義相似度，為了能夠?qū)⒈倔w中概念和頁面節(jié)點內(nèi)容準確映射，設(shè)計了計算本體中概念和DOM樹中節(jié)點文本的語義相似度算法，對于Web頁面不規(guī)范的問題，采