基于表單特性的深層網(wǎng)絡(luò)數(shù)據(jù)源分類方法研究.pdf

1、當(dāng)前，Deep Web中蘊(yùn)含著高質(zhì)量的海量信息并且其數(shù)量還在不斷地增長(zhǎng)，由于DeepWeb具有分布、異構(gòu)、自治等特點(diǎn)，用戶高效、快捷地獲取自己感興趣的信息面臨巨大挑戰(zhàn)。然而，將Deep Web數(shù)據(jù)源按領(lǐng)域分類是解決這一挑戰(zhàn)的基礎(chǔ)。因此，研究DeepWeb數(shù)據(jù)源的組織問題具有重要意義。
　　 本文通過Web字典、課題組開發(fā)的深層網(wǎng)絡(luò)數(shù)據(jù)源自動(dòng)抽取工具以及搜索引擎收集了大量深層網(wǎng)絡(luò)數(shù)據(jù)源，它們分別來自于航空訂票、圖書銷售、汽車和房地

2、產(chǎn)等四個(gè)領(lǐng)域。針對(duì)其中的200多個(gè)數(shù)據(jù)源進(jìn)行統(tǒng)計(jì)和分析發(fā)現(xiàn)：第一，“主題詞”能夠較好地區(qū)分深層網(wǎng)絡(luò)數(shù)據(jù)源。具體來說，查詢接口源代碼中，絕大多數(shù)title標(biāo)記含有內(nèi)容，而且這部分內(nèi)容中的有些詞往往只出現(xiàn)在某個(gè)領(lǐng)域并且在一定程度上反映了該查詢接口的主題，即所屬的相關(guān)領(lǐng)域；第二，同一領(lǐng)域查詢接口間相似屬性的個(gè)數(shù)往往較多，不同領(lǐng)域接口間相似屬性的個(gè)數(shù)則較少，或者幾乎沒有；第三，對(duì)于每個(gè)領(lǐng)域，隨著深層網(wǎng)絡(luò)數(shù)據(jù)源的增長(zhǎng)，查詢接口中屬性出現(xiàn)的總的詞匯

3、量往往趨向于一個(gè)較小水平，平均大概在60左右；第四，深層網(wǎng)絡(luò)中大部分為結(jié)構(gòu)化的數(shù)據(jù)源。
　　 受此啟發(fā)，基于表單特性-主題和表單屬性信息，本文提出了一種新的深層網(wǎng)絡(luò)數(shù)據(jù)源分類方法以及改進(jìn)的查詢接口相似性度量方法，實(shí)現(xiàn)了按照現(xiàn)實(shí)領(lǐng)域自動(dòng)組織大規(guī)模深層網(wǎng)絡(luò)數(shù)據(jù)源的目的。該方法主要由四大模塊組成：預(yù)處理模塊、標(biāo)記策略模塊、半監(jiān)督K-Means聚類模塊和后分類模塊。本文還提出了一種查詢接口標(biāo)記策略，以降低隨機(jī)選擇初始中心點(diǎn)所產(chǎn)生的影響。