基于Web頁(yè)面結(jié)構(gòu)的網(wǎng)頁(yè)數(shù)據(jù)提取研究.pdf

1、自上世紀(jì)50年代世界上第一臺(tái)計(jì)算機(jī)問世以來，尤其是最近幾十年隨著互聯(lián)網(wǎng)技術(shù)的飛速發(fā)展，英特網(wǎng)上來自全球領(lǐng)域的數(shù)據(jù)呈現(xiàn)指數(shù)型的增長(zhǎng)。我們的日常生活也早已和這些海量的數(shù)據(jù)密切相關(guān)?；ヂ?lián)網(wǎng)上的數(shù)據(jù)當(dāng)然主要以Web數(shù)據(jù)為主要載體。但是由于受到web固有半結(jié)構(gòu)限制再加上網(wǎng)頁(yè)隨處可見的與主題信息毫不相干的廣告等噪聲信息，這樣使得我們對(duì)于自己感興趣的信息難以從海量的web數(shù)據(jù)中獲取并利用。于是研究如何準(zhǔn)確方便的從海量的信息中提取人們關(guān)心的目標(biāo)信息數(shù)據(jù)

2、并且結(jié)構(gòu)化存儲(chǔ)起來變得越來越重要。
　　目前這方面的研究已成為國(guó)內(nèi)外學(xué)者研究熱點(diǎn)之一，基本上多數(shù)的研究都是在HTML標(biāo)簽的解析基礎(chǔ)上基于網(wǎng)頁(yè)DOM樹結(jié)構(gòu)或者視覺樹，然后通過一些包裝器的設(shè)計(jì)等方法進(jìn)行人工或者半人工也有自動(dòng)化的提取技術(shù)，很多研究也取得了很好的效果。本文的研究也是建立在DOM樹的結(jié)構(gòu)基礎(chǔ)上，針對(duì)列表型頁(yè)面的數(shù)據(jù)提取做了詳細(xì)的研究。提取結(jié)構(gòu)特征值，通過對(duì)特征值的處理引入了中介數(shù)學(xué)理論。
　　在定位目標(biāo)數(shù)據(jù)區(qū)域的算法

3、研究中，本文首先在基于對(duì)HTML解析成DOM文檔樹的基礎(chǔ)上進(jìn)行了優(yōu)化處理。并且提出了“基于XPath的葉子節(jié)點(diǎn)路徑改進(jìn)算法”該算法輸出DOM文檔樹葉子節(jié)點(diǎn)一個(gè)路徑。此路徑結(jié)構(gòu)是后續(xù)的工作的可行性至關(guān)重要的基礎(chǔ)。在此基礎(chǔ)上把中介數(shù)學(xué)理論系統(tǒng)（MMTD）引入并且針對(duì)DOM樹的結(jié)構(gòu)特征提出了“基于MMTD目標(biāo)數(shù)據(jù)區(qū)域定位算法(DL_MMTD)”，這個(gè)對(duì)模糊世界進(jìn)行量化處理的數(shù)學(xué)方法被用在計(jì)算機(jī)科學(xué)的多個(gè)領(lǐng)域，尤其是模糊集處理方面。但是本文首次