基于視覺(jué)信息的Deep Web信息自動(dòng)抽取技術(shù)的研究.pdf

1、隨著互聯(lián)網(wǎng)技術(shù)日新月異的發(fā)展,web已經(jīng)成為一個(gè)巨大的信息源,擁有著海量的重要數(shù)據(jù)。目前數(shù)據(jù)挖掘在許多領(lǐng)域應(yīng)用廣泛,如:金融、醫(yī)療保險(xiǎn)、市場(chǎng)分析等。通過(guò)分析挖掘得到的數(shù)據(jù),可以獲得許多有用知識(shí),最大程度的進(jìn)行輔助決策。然而,Web數(shù)據(jù)的特點(diǎn)是數(shù)量多,形式異構(gòu),自治的,分布存儲(chǔ),這使得 Web數(shù)據(jù)挖掘的分析工作變得尤為困難,所以當(dāng)務(wù)之急是對(duì)數(shù)據(jù)進(jìn)行集成,為高質(zhì)量數(shù)據(jù)分析奠定基礎(chǔ)。根據(jù)web中所蘊(yùn)含信息的“深度”,可以將web分為Surfa

2、ce Web和Deep Web。在數(shù)量和質(zhì)量上,Deep Web遠(yuǎn)遠(yuǎn)超過(guò)了Surface Web,具有較高的應(yīng)用價(jià)值。因此,如何進(jìn)行抽取Deep Web中的數(shù)據(jù),以便于更有效的分析,具有重要的現(xiàn)實(shí)意義和廣闊的應(yīng)用前景。Internet上的各個(gè)網(wǎng)站的信息相互獨(dú)立,Deep Web數(shù)據(jù)收集起來(lái)十分困難,在這種情況下,通常的搜索引擎發(fā)揮的作用微乎其微。雖然手工編寫(xiě)信息的抽取規(guī)則準(zhǔn)確率較高,但技術(shù)門檻低,而且由于信息源的多元性和改版的潛在風(fēng)險(xiǎn),

3、手工方法無(wú)法滿足人們對(duì)信息獲取的需求。在這樣的背景下,可以發(fā)現(xiàn)Deep Web信息自動(dòng)提取技術(shù)的實(shí)現(xiàn)與研究是一個(gè)非常重要的問(wèn)題。針對(duì)這一問(wèn)題,本文在Deep Web信息自動(dòng)抽取技術(shù)方面,包括基于網(wǎng)頁(yè)視覺(jué)信息、機(jī)器學(xué)習(xí)訓(xùn)練模型、Deep Web數(shù)據(jù)區(qū)域定位、數(shù)據(jù)項(xiàng)的對(duì)齊等方面,進(jìn)行了深入而系統(tǒng)的研究,同時(shí)開(kāi)發(fā)了Web信息自動(dòng)抽取系統(tǒng)。
　　本研究主要內(nèi)容包括：⑴基于頁(yè)面中的視覺(jué)信息,分割網(wǎng)頁(yè)得到視覺(jué)塊樹(shù),然后在視覺(jué)塊樹(shù)上,整合數(shù)據(jù)區(qū)