汽車票務(wù)Deep Web數(shù)據(jù)采集關(guān)鍵技術(shù)研究.pdf

1、互聯(lián)網(wǎng)技術(shù)已廣泛應(yīng)用于民航、鐵路以及道路旅客運(yùn)輸聯(lián)網(wǎng)售票領(lǐng)域，尤其是互聯(lián)網(wǎng)汽車票聯(lián)網(wǎng)售票迎來飛速發(fā)展階段。汽車票聯(lián)網(wǎng)售票系統(tǒng)建設(shè)的前提是在互聯(lián)網(wǎng)上獲取該類主題數(shù)據(jù)。傳統(tǒng)搜索引擎網(wǎng)絡(luò)爬蟲只能獲取表層網(wǎng)頁(yè)資源，無(wú)法訪問存儲(chǔ)在Web數(shù)據(jù)庫(kù)中的Deep Web網(wǎng)絡(luò)資源。
　　針對(duì)上述問題，本文在深入分析汽車票務(wù)網(wǎng)Deep Web結(jié)構(gòu)與特征的基礎(chǔ)上設(shè)計(jì)了汽車票務(wù)Deep Web數(shù)據(jù)采集系統(tǒng)，研究并實(shí)現(xiàn)了數(shù)據(jù)抽采集統(tǒng)中的關(guān)鍵技術(shù)。提出了汽車票

2、務(wù)網(wǎng)查詢頁(yè)面識(shí)別算法尋找汽車票查詢頁(yè)面;在此基礎(chǔ)上對(duì)識(shí)別出的網(wǎng)頁(yè)進(jìn)行分類處理，獲取純凈的含有汽車票務(wù)網(wǎng)查詢接口的頁(yè)面;詳細(xì)介紹了數(shù)據(jù)采集原型系統(tǒng)的框架、系統(tǒng)工作流程以及核心功能模塊。此外，本文對(duì)關(guān)鍵技術(shù)的研究做了大量實(shí)驗(yàn)論證。論文主要研究工作如下:
　　(1)提出了汽車票務(wù)網(wǎng)查詢頁(yè)面識(shí)別算法。隨著Web編程技術(shù)的發(fā)展，同類主題網(wǎng)頁(yè)可以采用不同的Html標(biāo)簽展示出視覺特征相同的網(wǎng)頁(yè)信息，導(dǎo)致在度量網(wǎng)頁(yè)結(jié)構(gòu)相似性時(shí)需要匹配Html標(biāo)簽

3、名稱信息的現(xiàn)有網(wǎng)頁(yè)結(jié)構(gòu)相似性算法無(wú)法準(zhǔn)確度量該類主題網(wǎng)頁(yè)。提出一種網(wǎng)頁(yè)標(biāo)簽樹鄰接矩陣主題網(wǎng)頁(yè)識(shí)別算法，通過構(gòu)造網(wǎng)頁(yè)標(biāo)簽樹鄰接矩陣，利用鄰接矩陣的結(jié)構(gòu)特征計(jì)算網(wǎng)頁(yè)之間的結(jié)構(gòu)相似度實(shí)現(xiàn)識(shí)別同類主題。實(shí)驗(yàn)結(jié)果表明，該算法最佳性能達(dá)到查全率100％、查準(zhǔn)率96％，平均性能達(dá)到查全率97％、查準(zhǔn)率89％。
　　(2)采用決策樹分類模型對(duì)汽車票務(wù)網(wǎng)查詢頁(yè)面識(shí)別算法獲得的數(shù)據(jù)進(jìn)行分類，并改進(jìn)了算法中最佳決策屬性的選擇。由于識(shí)別算法獲取的數(shù)據(jù)集合

4、中可能含有其它主題接口，錯(cuò)誤的查詢接口不僅會(huì)影響數(shù)據(jù)采集系統(tǒng)的性能，還會(huì)造成大量存儲(chǔ)資源和網(wǎng)絡(luò)帶寬資源的浪費(fèi)。因此，需要對(duì)查詢頁(yè)面識(shí)別算法得到的數(shù)據(jù)集合進(jìn)行分類處理。實(shí)際應(yīng)用中訓(xùn)練數(shù)據(jù)的分布不能完全代表測(cè)試數(shù)據(jù)的分布，導(dǎo)致無(wú)法得到有效的分類模型。本文結(jié)合信息增益與本征向量法確定最佳決策屬性的權(quán)重。實(shí)驗(yàn)結(jié)果表明，在保證相同精確度的前提下，隨著測(cè)試數(shù)據(jù)數(shù)量的增加改進(jìn)后的算法效率得到了明顯的提升。
　　(3)汽車票務(wù)Deep Web數(shù)據(jù)