基于Hadoop的物流歷史數(shù)據(jù)聚類挖掘研究.pdf

1、隨著電商、物聯(lián)網(wǎng)、云計(jì)算等一系列新型技術(shù)的發(fā)展與應(yīng)用，如今的物流行業(yè)的數(shù)據(jù)增長(zhǎng)已不再是線性的、緩慢的，它所呈現(xiàn)的是海量的、復(fù)雜的、實(shí)時(shí)的與爆炸性的。顯然，傳統(tǒng)的單機(jī)存儲(chǔ)和串行的數(shù)據(jù)挖掘技術(shù)已無(wú)法滿足當(dāng)前物流行業(yè)的大數(shù)據(jù)處理需求。Hadoop則依然成為了當(dāng)下社會(huì)發(fā)展的新趨勢(shì)，它是一個(gè)開(kāi)源的分布式平臺(tái)，適用于大數(shù)據(jù)集的分布式計(jì)算。近年來(lái)，這一技術(shù)在數(shù)據(jù)挖掘領(lǐng)域逐漸發(fā)揮出其獨(dú)特的優(yōu)勢(shì)。而K-means聚類算法就是一種有效的大數(shù)據(jù)挖掘算法，該算

2、法實(shí)現(xiàn)簡(jiǎn)單且易于使用，但其在質(zhì)心點(diǎn)及K值的選取上仍然存在很大的盲目性和不可預(yù)見(jiàn)性，經(jīng)常導(dǎo)致聚類結(jié)果出現(xiàn)局部最優(yōu)，且在距離計(jì)算過(guò)程中存在著復(fù)雜的冗余計(jì)算，收斂速度慢，聚類精度低，缺乏并行性和可擴(kuò)展性，大大降低了算法的運(yùn)行效率。針對(duì)傳統(tǒng)K-means算法不足，本課題結(jié)合了“距離三角不等式原理”和“最小最大原則”的優(yōu)點(diǎn)，在Hadoop云計(jì)算平臺(tái)上提出了一種基于雙MapReduce分布式編程模型改進(jìn)的Canopy-Kmeans算法，并通過(guò)社發(fā)物

3、流公司的真實(shí)歷史數(shù)據(jù)驗(yàn)證了本文算法的正確性。
　　本研究主要內(nèi)容包括：⑴闡述了Hadoop生態(tài)系統(tǒng)，對(duì)其基本組件、構(gòu)造模塊以及工作機(jī)制進(jìn)行了深入的剖析和研究；分析了大數(shù)據(jù)挖掘過(guò)程的標(biāo)準(zhǔn)流程；對(duì)傳統(tǒng)K-means算法的設(shè)計(jì)思路和過(guò)程進(jìn)行了深入的研究，探討了已有研究成果的優(yōu)缺點(diǎn)。⑵在Hadoop平臺(tái)上基于最小最大原則對(duì)傳統(tǒng)的Canopy算法進(jìn)行了改進(jìn)，成功地解決了傳統(tǒng)Canopy算法中人為設(shè)置K值以及區(qū)域半徑T1、T2的盲目性，為K-

4、means聚類結(jié)果的準(zhǔn)確性提供了可靠的理論依據(jù)。⑶基于三角不等式原理的優(yōu)點(diǎn)，在K-means算法迭代計(jì)算之前，增加了距離篩選判定，從而有效地減少了大量的冗余計(jì)算；另外，為了進(jìn)一步提高該算法的運(yùn)行效率，在引入加權(quán)聚類準(zhǔn)則函數(shù)的基礎(chǔ)上，增加了收斂性判定，進(jìn)而提高了聚類的質(zhì)量和收斂速度，降低了數(shù)據(jù)對(duì)象的誤分率。⑷設(shè)計(jì)并實(shí)現(xiàn)了基于雙MapReduce編程模型改進(jìn)的Canopy-Kmeans算法。為了進(jìn)一步驗(yàn)證本文算法設(shè)計(jì)的可行性，搭建了Hado