面向電子商務(wù)網(wǎng)站的深度搜索與信息抽取研究.pdf

1、隨著網(wǎng)絡(luò)技術(shù)和數(shù)據(jù)庫(kù)技術(shù)的飛速發(fā)展,互聯(lián)網(wǎng)已成為海量信息的載體,如何從海量信息中準(zhǔn)確、快速地抽取出有價(jià)值的信息已成為人們迫切需要解決的一大難題。電子商務(wù)網(wǎng)站具有動(dòng)態(tài)Web頁(yè)面、頁(yè)面結(jié)構(gòu)化程度高以及信息數(shù)量巨大且內(nèi)容豐富等特點(diǎn)。實(shí)際上,電子商務(wù)網(wǎng)站屬于DeepWeb,DeepWeb指的是存儲(chǔ)在數(shù)據(jù)庫(kù)中、不能通過(guò)靜態(tài)超鏈接訪問(wèn)而需要通過(guò)動(dòng)態(tài)網(wǎng)頁(yè)技術(shù)訪問(wèn)的信息,用戶需要向特定的查詢接口提交查詢請(qǐng)求后才能訪問(wèn)數(shù)據(jù)庫(kù)中的數(shù)據(jù)。深度搜索就是針對(duì)De

2、epWeb進(jìn)行搜索。DeepWeb不僅信息量大,而且具有面向某一領(lǐng)域、結(jié)構(gòu)化程度較高且可以公開訪問(wèn)等特點(diǎn)。本文選擇電子商務(wù)網(wǎng)站作為深度搜索的對(duì)象,研究商品信息的抽取。電子商務(wù)網(wǎng)站的站內(nèi)搜索引擎為研究人員對(duì)網(wǎng)站進(jìn)行深度搜索提供了便利,它可以根據(jù)用戶輸入的關(guān)鍵詞,將與之相關(guān)的數(shù)據(jù)庫(kù)內(nèi)容以網(wǎng)頁(yè)的形式動(dòng)態(tài)呈現(xiàn)出來(lái)。我們可以利用這類查詢接口進(jìn)行深度搜索,通過(guò)模擬關(guān)鍵詞的填充和提交,來(lái)獲取我們需要的頁(yè)面。
　　 通過(guò)深度搜索所獲得的頁(yè)面內(nèi)含

3、有大量商品信息,我們以此為信息源進(jìn)行信息抽取。信息抽取研究中最關(guān)鍵的技術(shù)在于如何生成抽取規(guī)則,生成的方法有很多,但從生成的手段來(lái)說(shuō)可以分為兩種,一種是自動(dòng)生成抽取規(guī)則,另一種是人工編寫抽取規(guī)則,兩種方法各有優(yōu)缺點(diǎn),有著各自的適用范圍。自動(dòng)生成的方法有利于針對(duì)不同結(jié)構(gòu)的網(wǎng)站,但準(zhǔn)確率較低;而人工編寫的方法雖然需要人工參與,但抽取結(jié)果較為精確。本文針對(duì)電子商務(wù)網(wǎng)站進(jìn)行信息抽取,抽取商品的各種信息,主要包括商品名稱、價(jià)格、運(yùn)費(fèi)、商品相關(guān)信息等

4、內(nèi)容。由于同一網(wǎng)站下的子頁(yè)面結(jié)構(gòu)大體相同,因此,為了獲得更為精確的抽取結(jié)果,我們采用了人工編寫抽取規(guī)則的方法。
　　 本文的主要內(nèi)容及創(chuàng)新點(diǎn)如下:
　　 1、設(shè)計(jì)一個(gè)關(guān)鍵詞庫(kù)接口,使得系統(tǒng)可以接受關(guān)鍵詞庫(kù)文件(文本文件,關(guān)鍵詞之間以回車符隔開),將關(guān)鍵詞庫(kù)文件內(nèi)的關(guān)鍵詞一一導(dǎo)入至系統(tǒng)中,用于表單的自動(dòng)填充和提交。另外,考慮到了效率問(wèn)題,讓系統(tǒng)在導(dǎo)入新關(guān)鍵詞庫(kù)文件時(shí)與舊關(guān)鍵詞庫(kù)進(jìn)行對(duì)比,判斷出新關(guān)鍵詞,最后只接受更新的那一

5、部分關(guān)鍵詞,即達(dá)到關(guān)鍵詞增量更新的目的。
　　 2、提取電子商務(wù)網(wǎng)站的HTML源碼,通過(guò)對(duì)HTML源碼進(jìn)行分析,提取出網(wǎng)站中包含查詢表單的那部分HTML源碼。根據(jù)這部分HTML源碼,利用WebBrowser控件方法對(duì)這些查詢表單自動(dòng)模擬關(guān)鍵詞的填充和提交,用以獲得每一個(gè)關(guān)鍵詞所對(duì)應(yīng)的初始頁(yè)面。
　　 3、選擇性的提取鏈接,只提取初始頁(yè)面中的商品信息鏈接,而不提取廣告和友情鏈接。另外,由于商品信息鏈接有多頁(yè),因此還需要通過(guò)