云計算環(huán)境下機(jī)票價格預(yù)測及任務(wù)分配研究.pdf

1、隨著大數(shù)據(jù)研究方向的出現(xiàn)，傳統(tǒng)的數(shù)據(jù)挖掘存在效率不高、無法直接處理大數(shù)據(jù)的問題。云計算技術(shù)為數(shù)據(jù)挖掘提供了一種新的思路。Hadoop是Apache組織下的一種開源分布式云計算框架的實現(xiàn)，以其可靠、高效、可伸縮的特點被應(yīng)用于大數(shù)據(jù)處理環(huán)境。機(jī)票價格數(shù)據(jù)的獲取與預(yù)測具有良好的市場需求與經(jīng)濟(jì)價值，屬于大數(shù)據(jù)處理的研究范圍，且目前研究成果不多，是本文的一個重要研究內(nèi)容。另一方面，現(xiàn)有的Hadoop任務(wù)分配策略，尚不能很好地適應(yīng)大數(shù)據(jù)處理。改進(jìn)H

2、adoop任務(wù)分配策略，提高作業(yè)執(zhí)行效率是本文的另一個研究內(nèi)容。
　　本文分別針對Hadoop環(huán)境下的機(jī)票價格預(yù)測問題和異構(gòu)環(huán)境下Hadoop任務(wù)分配問題展開了研究，具體工作包括:
　　1)針對航空收益的價格管理，力圖挖掘出機(jī)票價格變化的規(guī)律，利用爬蟲技術(shù)抓取機(jī)票數(shù)據(jù)，基于機(jī)票價格密度圖像，提出用于決定是否購買機(jī)票的Cluster_ Predict_Ticket算法。
　　2)針對Cluster_ Predict_ T

3、icket算法在處理大數(shù)據(jù)量機(jī)票數(shù)據(jù)效率低下問題，提出Cluster_ Predict_Ticket算法的MapReduce版本PCluster_Predict_Ticket算法，將算法移植到Hadoop環(huán)境，利用MapReduce編程模式提高算法效率。實驗表明在不損失預(yù)測精度的前提下PCluster_ Predict_ Ticket算法更具擴(kuò)展性和效率。
　　3)針對異構(gòu)環(huán)境下Hadoop任務(wù)調(diào)度問題，提出HTA(Hadoop

4、TaskAssignment)問題，使用最小費用最大流對HTA問題進(jìn)行建模。提出了λ-Flow算法，將原先一次完成的任務(wù)分配過程劃分成多輪，每輪基于當(dāng)前集群狀態(tài)，以及上輪任務(wù)的執(zhí)行情況，動態(tài)進(jìn)行任務(wù)分配，直至全部任務(wù)分配結(jié)束，以期達(dá)到最優(yōu)執(zhí)行效率。通過與其他算法對比實驗表明，λ-Flow算法能夠更好地適應(yīng)集群的動態(tài)變化，有效減少作業(yè)執(zhí)行時間。
　　本文的成果驗證了PCluster_ Predict_ Ticket算法的擴(kuò)展性和λ-