Web數(shù)據(jù)抽取技術(shù)研究.pdf

1、當(dāng)今，互聯(lián)網(wǎng)已成為信息傳播與共享的重要資源。由于Web數(shù)據(jù)的半結(jié)構(gòu)化、異構(gòu)、海量等特點(diǎn)，使得傳統(tǒng)的數(shù)據(jù)挖掘技術(shù)不能直接運(yùn)用到Web頁面數(shù)據(jù)源上。因此先要對(duì)半結(jié)構(gòu)化的Web頁面數(shù)據(jù)進(jìn)行抽取有用的信息，于是Web數(shù)據(jù)抽取技術(shù)應(yīng)運(yùn)而生。由于XML的結(jié)構(gòu)化、可擴(kuò)展性等眾多優(yōu)點(diǎn)，因此將Web數(shù)據(jù)抽取的結(jié)果以XML形式輸出更適合于數(shù)據(jù)挖掘的需要。 本文首先介紹了當(dāng)前信息抽取理論的研究現(xiàn)狀和熱點(diǎn)技術(shù)，重點(diǎn)分析Web頁面數(shù)據(jù)的特征并研究了Web

2、頁面數(shù)據(jù)抽取技術(shù)。本文通過分析Web頁面的視覺特征對(duì)DOM樹進(jìn)行擴(kuò)展，結(jié)合擴(kuò)展的DOM樹對(duì)簡(jiǎn)單樹匹配STM算法進(jìn)行改進(jìn)并應(yīng)用于本文的抽取過程中。然后本文在Bing Li等人提出的Web自動(dòng)抽取系統(tǒng)基礎(chǔ)上結(jié)合頁面視覺特征對(duì)MDR算法進(jìn)行改進(jìn)。最后，本文為了提高算法的數(shù)據(jù)對(duì)象識(shí)別能力引入了抽取模式的概念，給出了抽取模式樹結(jié)構(gòu)，并應(yīng)用于抽取中。實(shí)驗(yàn)表明，抽取模式樹的引入提高了數(shù)據(jù)抽取的召回率。最后將抽取結(jié)果輸出為XML文檔。 最后，本