基于Spark平臺(tái)的公交客流預(yù)測(cè)方法的研究.pdf

1、城市公共交通是城市建設(shè)和社會(huì)生活的重要組成部分，對(duì)城市經(jīng)濟(jì)和居民生活具有深遠(yuǎn)性、全面性的影響。但是，當(dāng)前交通資源利用率低、交通擁堵、交通污染等問題日益嚴(yán)重，這些現(xiàn)實(shí)問題直接關(guān)系著人民群眾的切身利益。公交客流預(yù)測(cè)作為一種科學(xué)的措施，能為城市公共交通政策制定、系統(tǒng)規(guī)劃、運(yùn)營(yíng)管理提供重要信息，能幫助公交管理者制定合理的公交運(yùn)營(yíng)計(jì)劃和政策，是提高交通資源利用率、增強(qiáng)城市功能的重要途徑，對(duì)緩解交通擁堵、降低交通污染具有十分重要的作用。
　　

2、隨機(jī)森林是基于多棵決策樹的組合模型，相比于其他算法有較多的優(yōu)勢(shì)。然而在單機(jī)模式下，隨機(jī)森林的決策樹構(gòu)建和預(yù)測(cè)投票過程都是串行化的，運(yùn)行效率較低。數(shù)據(jù)量規(guī)模較大時(shí)，傳統(tǒng)單機(jī)環(huán)境下的隨機(jī)森林算法會(huì)消耗大量時(shí)間。Spark是一個(gè)分布式計(jì)算平臺(tái)，能夠輕松處理海量數(shù)據(jù)，使得大規(guī)模，分布式迭代計(jì)算成為可能。本文結(jié)合了隨機(jī)森林和Spark兩者的優(yōu)點(diǎn)，將隨機(jī)森林作為公交客流預(yù)測(cè)模型，Spark作為隨機(jī)森林的并行化實(shí)現(xiàn)平臺(tái)。
　　本文在現(xiàn)有公交客流

3、數(shù)據(jù)的基礎(chǔ)上，使用 Spark SQL統(tǒng)計(jì)和提取有用信息，對(duì)公交客流的出行規(guī)律進(jìn)行分析。分別研究了客流的時(shí)間分布特征和動(dòng)態(tài)影響因素，分析了公交客流在工作日、周末的變化規(guī)律，同時(shí)分析了天氣、溫度、節(jié)假日等因素對(duì)公交短時(shí)客流的影響。
　　為了解決單機(jī)環(huán)境下隨機(jī)森林耗時(shí)長(zhǎng)的問題，本文提出了基于Spark平臺(tái)的隨機(jī)森林并行化方法，實(shí)現(xiàn)了建樹和投票兩個(gè)過程的并行化。實(shí)驗(yàn)結(jié)果表明，并行化隨機(jī)森林的運(yùn)行效率要好于傳統(tǒng)單機(jī)環(huán)境下的隨機(jī)森林。另外，

4、本文通過對(duì)比多種回歸模型的實(shí)驗(yàn)結(jié)果，證實(shí)了并行化隨機(jī)森林在模型擬合度和預(yù)測(cè)精度上都能取得較好的效果。
　　現(xiàn)有對(duì)隨機(jī)森林的改進(jìn)研究大多用于分類問題上，對(duì)于回歸問題的改進(jìn)研究較少。本文總結(jié)了以往各方面的研究經(jīng)驗(yàn)，提出了改進(jìn)型隨機(jī)森林樣本相似度計(jì)算方法，并基于該計(jì)算方法對(duì)隨機(jī)森林的投票過程進(jìn)行優(yōu)化，提出了加權(quán)投票方法。同時(shí)實(shí)現(xiàn)了改進(jìn)型特征選擇算法，該算法能縮小隨機(jī)森林進(jìn)行特征選擇時(shí)抽取的特征子集，減小不重要的特征對(duì)隨機(jī)森林預(yù)測(cè)效果的影