基于兩階段的深層網(wǎng)絡(luò)數(shù)據(jù)源發(fā)現(xiàn)系統(tǒng)研究.pdf

1、互聯(lián)網(wǎng)數(shù)據(jù)根據(jù)是否能被搜索引擎所索引分為淺層網(wǎng)絡(luò)和深層網(wǎng)絡(luò)。深層網(wǎng)絡(luò)相比淺層網(wǎng)絡(luò)具有更大的數(shù)據(jù)量和更高的質(zhì)量，高效的定位深層網(wǎng)絡(luò)數(shù)據(jù)源是挖掘隱藏在深層網(wǎng)絡(luò)背后信息的前提。由于Web本質(zhì)是動態(tài)變化的，不斷有新的數(shù)據(jù)源加入和舊的數(shù)據(jù)源撤出，以及查詢表單稀疏分布的特點，現(xiàn)有的深層網(wǎng)絡(luò)數(shù)據(jù)源發(fā)現(xiàn)系統(tǒng)會訪問大量無關(guān)頁面，導(dǎo)致效率低下。
　　基于兩階段的深層網(wǎng)絡(luò)數(shù)據(jù)源發(fā)現(xiàn)系統(tǒng)（SmartCrawler），將數(shù)據(jù)源發(fā)現(xiàn)過程分為站點定位階段和站內(nèi)

2、搜索階段，并具有自適應(yīng)、增量式和高效等特點。站點定位階段借助搜索引擎反向爬行已發(fā)現(xiàn)的深層網(wǎng)絡(luò)站點來收集站點數(shù)據(jù)，保證站點隊列有充足的候選數(shù)據(jù)；采用自適應(yīng)的站點排序機制實現(xiàn)優(yōu)先選取潛在深層網(wǎng)絡(luò)站點以及站點分類器來實現(xiàn)聚焦爬行。站內(nèi)搜索階段采取平衡的優(yōu)先訪問策略，在優(yōu)先訪問潛在指向含查詢表單頁面同時，通過設(shè)計樹型結(jié)構(gòu)來保證站點內(nèi)部的覆蓋范圍。站點和鏈接優(yōu)先選取策略采用學(xué)習(xí)智能體方法，通過自動抽取爬行過程中發(fā)現(xiàn)的深層網(wǎng)絡(luò)站點和表單路徑特征，并