Web信息自動抽取技術(shù)的研究與實(shí)現(xiàn).pdf

1、隨著Internet技術(shù)的不斷發(fā)展及其應(yīng)用的深入，Web已經(jīng)發(fā)展成為一個巨大的、分布式的和共享的信息資源，可用信息正在呈指數(shù)級增長。目前Web數(shù)據(jù)大都以HTML的形式出現(xiàn)。由于HTML缺乏對數(shù)據(jù)本身的描述，不包含清晰的語義信息，這使得由HTML描述的Web頁面只適合瀏覽。為了增強(qiáng)Web數(shù)據(jù)的可用性，出現(xiàn)了Web信息抽取技術(shù)，它通過包裝現(xiàn)有的Web信息源，將網(wǎng)頁上的信息以更為結(jié)構(gòu)化的方式抽取出來，為應(yīng)用程序利用Web中的數(shù)據(jù)提供了可能。因

2、此它有著明顯的優(yōu)勢和廣闊的前景，是當(dāng)今研究的熱點(diǎn)。 將信息從網(wǎng)頁中抽取出來通常是由包裝器（Wrapper）完成的。編寫包裝器的過程經(jīng)歷了手工、半自動化以及正在研究的全自動三個階段。已有的手工以及半自動化包裝器的建立方法存在著幾個主要的困難：首先，大量的手工操作對使用者提出了很高的要求；其次，包裝器維護(hù)繁鎖，不具有通用性。本文在研究現(xiàn)有的Web信息抽取技術(shù)的基礎(chǔ)上，提出了一種基于樹結(jié)構(gòu)的自動提取網(wǎng)頁數(shù)據(jù)的方法。本文的主要貢獻(xiàn)有以下

3、幾點(diǎn)： 1.提出并實(shí)現(xiàn)了一種獲取相似網(wǎng)頁的方法。該方法通過對頁面結(jié)構(gòu)的分析，能夠非常有效的判斷出頁面的類型，根據(jù)不同的頁面類型采取不同的策略，從而能夠非常準(zhǔn)確的獲取到相似的網(wǎng)頁。 2.改進(jìn)并實(shí)現(xiàn)了一種基于樹結(jié)構(gòu)的網(wǎng)頁數(shù)據(jù)自動抽取的算法。該算法通過對不同網(wǎng)頁的比較，利用不匹配項(xiàng)來確定包裝器。同時，根據(jù)產(chǎn)生的包裝器來生成數(shù)據(jù)的模式，并對包裝器的變量進(jìn)行了語義標(biāo)識，最后實(shí)現(xiàn)了將數(shù)據(jù)從網(wǎng)頁中自動抽取。本文提出的這種算法相比現(xiàn)有的