結(jié)構(gòu)化深層網(wǎng)絡(luò)數(shù)據(jù)庫的探測(cè)估計(jì).pdf

1、隨著當(dāng)今互聯(lián)網(wǎng)的飛速發(fā)展，互聯(lián)網(wǎng)上的信息挖掘也變得越來越重要。而在這大量的數(shù)據(jù)中，深層互聯(lián)網(wǎng)中的信息不僅從數(shù)量還是從質(zhì)量上來說，都大大地優(yōu)于表層互聯(lián)網(wǎng)。然而，相對(duì)于表層網(wǎng)絡(luò)來說，由于深層網(wǎng)絡(luò)的數(shù)據(jù)隱藏在網(wǎng)頁的查詢表單之后，所以，已有的技術(shù)（包括Google）都無法抓取和索引深層網(wǎng)絡(luò)中的信息。由此可見深層網(wǎng)絡(luò)數(shù)據(jù)的巨大價(jià)值。 本文是目前該研究領(lǐng)域中第一個(gè)研究“結(jié)構(gòu)化深層網(wǎng)絡(luò)數(shù)據(jù)抓取”的工作。我們通過有創(chuàng)見的數(shù)學(xué)建模，將這個(gè)困難的問

2、題劃分為：“基于圖的半監(jiān)督學(xué)習(xí)”（Semi-supervised Learning based on Graph），“主動(dòng)學(xué)習(xí)”（Active Learning）和“圖融合”（Graph Fusion）這3個(gè)數(shù)學(xué)問題。并且對(duì)它們都作出了深入有創(chuàng)新的探討。 在“基于圖的半監(jiān)督學(xué)習(xí)”中，我們首創(chuàng)的將這一2004年剛出現(xiàn)的工作運(yùn)用到實(shí)際的場(chǎng)景中，在這之前，關(guān)于該問題的工作往往在停留在理論的分析上，而我們是第一次將這一工作運(yùn)用到大規(guī)模的

3、數(shù)據(jù)集上。并且，由于我們的問題特殊性，其他的傳統(tǒng)學(xué)習(xí)方式都無法解決我們?cè)谏顚泳W(wǎng)絡(luò)數(shù)據(jù)的探測(cè)估計(jì)中遇到的困難。在“主動(dòng)學(xué)習(xí)”中，我們創(chuàng)新的在理論上提出突破，將“基于圖的半監(jiān)督學(xué)習(xí)”等價(jià)變形為“惰性隨機(jī)游走”，并且在此意義下，從概率論的視角原創(chuàng)的推導(dǎo)出了“基于半監(jiān)督學(xué)習(xí)的主動(dòng)學(xué)習(xí)”的松弛最優(yōu)解，使在我們這一特定問題下計(jì)算該解的復(fù)雜度降到了O(1)，并且該松弛解的有效性在實(shí)驗(yàn)中得到了證明。在“圖融合”中，我們仔細(xì)考察了Amazon.com站點(diǎn)