面向互聯(lián)網(wǎng)機(jī)票數(shù)據(jù)抓取與票價(jià)預(yù)警系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、隨著網(wǎng)絡(luò)技術(shù)的高速發(fā)展與電子客票系統(tǒng)的全面推廣應(yīng)用,各大航空公司都已經(jīng)利用各自的網(wǎng)站銷售電子客票,同時(shí)也出現(xiàn)了許多機(jī)票代售網(wǎng)站。這種面向互聯(lián)網(wǎng)的機(jī)票銷售,使得機(jī)票市場(chǎng)存在非常激烈的競(jìng)爭(zhēng)。各個(gè)航空公司為了使總體利潤(rùn)最大化,通常采用一些低價(jià)策略吸引客戶,從而使得票價(jià)調(diào)整非常頻繁,也導(dǎo)致了航空公司之間出現(xiàn)了惡性競(jìng)爭(zhēng)。當(dāng)前民航監(jiān)管部門的監(jiān)控手段存在重大問(wèn)題:由于航線多,銷售網(wǎng)站多,數(shù)據(jù)量大,同時(shí)采用人工方式,致使自動(dòng)化程度低,效率極其低下,準(zhǔn)確

2、度難以保證,不能全面而實(shí)時(shí)的監(jiān)控票價(jià)和預(yù)警。
　　本文針對(duì)上述問(wèn)題,采用深度網(wǎng)絡(luò)爬蟲(chóng)技術(shù)設(shè)計(jì)實(shí)現(xiàn)了一個(gè)互聯(lián)網(wǎng)的機(jī)票數(shù)據(jù)抓取與票價(jià)預(yù)警系統(tǒng)。該系統(tǒng)有很強(qiáng)的機(jī)票數(shù)據(jù)抓取能力,并能對(duì)未來(lái)票價(jià)預(yù)測(cè)預(yù)警,可以實(shí)時(shí)監(jiān)控互聯(lián)網(wǎng)上機(jī)票價(jià)格并實(shí)時(shí)預(yù)警。本系統(tǒng)的核心在于兩個(gè)部分:機(jī)票數(shù)據(jù)的深度抓取和票價(jià)預(yù)警。首先設(shè)計(jì)實(shí)現(xiàn)了一個(gè)機(jī)票主題爬蟲(chóng),該爬蟲(chóng)根據(jù)主題相關(guān)性判斷,在網(wǎng)頁(yè)中識(shí)別出與機(jī)票主題相關(guān)的HTML表單,自動(dòng)填充查詢條件并提交,進(jìn)而抓取含有豐富機(jī)

3、票數(shù)據(jù)的結(jié)果頁(yè)。再對(duì)結(jié)果頁(yè)通過(guò)模板匹配的方法抽取有效的機(jī)票數(shù)據(jù),結(jié)構(gòu)化存儲(chǔ)到數(shù)據(jù)庫(kù)。最后對(duì)抓取到的數(shù)據(jù)去錯(cuò)去重,分析其特征,采用移動(dòng)加權(quán)平均時(shí)間序列預(yù)測(cè)算法處理近期和歷年同一時(shí)期票價(jià)數(shù)據(jù)進(jìn)行未來(lái)機(jī)票價(jià)格預(yù)測(cè),得出價(jià)格走勢(shì)圖,當(dāng)預(yù)測(cè)到某一機(jī)票價(jià)格低于預(yù)設(shè)閾值時(shí)發(fā)出警報(bào)。最后,對(duì)系統(tǒng)進(jìn)行了測(cè)試與結(jié)果分析。
　　本課題來(lái)源于中國(guó)民航研究院的預(yù)研項(xiàng)目,完成了互聯(lián)網(wǎng)的機(jī)票數(shù)據(jù)抓取與票價(jià)預(yù)警系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)。通過(guò)測(cè)試,驗(yàn)證了系統(tǒng)可以有效的抓取