面向互聯(lián)網(wǎng)機票數(shù)據(jù)抓取與票價預(yù)警系統(tǒng)的設(shè)計與實現(xiàn).pdf

1、隨著網(wǎng)絡(luò)技術(shù)的高速發(fā)展與電子客票系統(tǒng)的全面推廣應(yīng)用,各大航空公司都已經(jīng)利用各自的網(wǎng)站銷售電子客票,同時也出現(xiàn)了許多機票代售網(wǎng)站。這種面向互聯(lián)網(wǎng)的機票銷售,使得機票市場存在非常激烈的競爭。各個航空公司為了使總體利潤最大化,通常采用一些低價策略吸引客戶,從而使得票價調(diào)整非常頻繁,也導(dǎo)致了航空公司之間出現(xiàn)了惡性競爭。當(dāng)前民航監(jiān)管部門的監(jiān)控手段存在重大問題:由于航線多,銷售網(wǎng)站多,數(shù)據(jù)量大,同時采用人工方式,致使自動化程度低,效率極其低下,準(zhǔn)確

2、度難以保證,不能全面而實時的監(jiān)控票價和預(yù)警。
　　本文針對上述問題,采用深度網(wǎng)絡(luò)爬蟲技術(shù)設(shè)計實現(xiàn)了一個互聯(lián)網(wǎng)的機票數(shù)據(jù)抓取與票價預(yù)警系統(tǒng)。該系統(tǒng)有很強的機票數(shù)據(jù)抓取能力,并能對未來票價預(yù)測預(yù)警,可以實時監(jiān)控互聯(lián)網(wǎng)上機票價格并實時預(yù)警。本系統(tǒng)的核心在于兩個部分:機票數(shù)據(jù)的深度抓取和票價預(yù)警。首先設(shè)計實現(xiàn)了一個機票主題爬蟲,該爬蟲根據(jù)主題相關(guān)性判斷,在網(wǎng)頁中識別出與機票主題相關(guān)的HTML表單,自動填充查詢條件并提交,進而抓取含有豐富機

3、票數(shù)據(jù)的結(jié)果頁。再對結(jié)果頁通過模板匹配的方法抽取有效的機票數(shù)據(jù),結(jié)構(gòu)化存儲到數(shù)據(jù)庫。最后對抓取到的數(shù)據(jù)去錯去重,分析其特征,采用移動加權(quán)平均時間序列預(yù)測算法處理近期和歷年同一時期票價數(shù)據(jù)進行未來機票價格預(yù)測,得出價格走勢圖,當(dāng)預(yù)測到某一機票價格低于預(yù)設(shè)閾值時發(fā)出警報。最后,對系統(tǒng)進行了測試與結(jié)果分析。
　　本課題來源于中國民航研究院的預(yù)研項目,完成了互聯(lián)網(wǎng)的機票數(shù)據(jù)抓取與票價預(yù)警系統(tǒng)的設(shè)計與實現(xiàn)。通過測試,驗證了系統(tǒng)可以有效的抓取