基于云計算的DBSCAN算法研究.pdf

1、隨著計算機應(yīng)用的普及和網(wǎng)絡(luò)技術(shù)的快速發(fā)展，數(shù)據(jù)的存儲量急劇增加，如何有效地利用海量的歷史數(shù)據(jù)分析現(xiàn)狀和預(yù)測趨勢，已經(jīng)成為各行業(yè)面臨的關(guān)鍵挑戰(zhàn)。解決這一問題的努力促使數(shù)據(jù)挖掘技術(shù)的產(chǎn)生和發(fā)展，目前，數(shù)據(jù)挖掘技術(shù)已被廣泛運用，它在零售業(yè)、金融業(yè)、電信業(yè)、生物醫(yī)學(xué)及天文學(xué)等領(lǐng)域都有很多應(yīng)用。聚類分析技術(shù)作為其重要組成部分，已經(jīng)廣泛應(yīng)用于模式識別、數(shù)據(jù)分析、圖象處理、市場研究等許多領(lǐng)域。聚類分析中的DBSCAN算法由于具有能在含有噪聲的數(shù)據(jù)空間

2、中發(fā)現(xiàn)任意形狀的簇的能力，得到了廣泛的應(yīng)用，已經(jīng)成為數(shù)據(jù)挖掘研究領(lǐng)域中非?；钴S的一個研究課題。
　　 云計算是目前國內(nèi)外研究的熱點，它是當(dāng)前多種高性能的計算模式的發(fā)展，是一種通過網(wǎng)絡(luò)以服務(wù)的方式提供動態(tài)可伸縮的虛擬化的資源的計算模式。人們可以通過網(wǎng)絡(luò)在云計算平臺上獲得可動態(tài)擴展的計算和存儲能力，具有在降低終端設(shè)備要求的同時提高數(shù)據(jù)處理效率的能力，可以有效地解決處理海量數(shù)據(jù)時所面臨的問題。
　　 本論文以實習(xí)時參與的項目為

3、基礎(chǔ)，分析和研究了云計算技術(shù)和海量數(shù)據(jù)挖掘的相關(guān)技術(shù)，并重點研究了基于密度的DBSCAN聚類算法。論文針對DBSCAN聚類算法的缺點，結(jié)合項目中充電站數(shù)據(jù)的特點，提出了一種新的算法，這個算法就是基于網(wǎng)格控制因子的DBSCAN聚類算法，它是以項目中所用的固定網(wǎng)格大小的DBSCAN算法為基礎(chǔ)的，通過一個叫做網(wǎng)格控制因子的值來微調(diào)網(wǎng)格的大小，從而找到一個使聚類精度最好的最佳網(wǎng)格大小。論文用充電站數(shù)據(jù)證明了其聚類精度得到了有效的改進，同樣具有有

4、效降低時間復(fù)雜度的優(yōu)點。
　　 本論文要解決的第二個重要問題就是對改進的算法做并行化處理，然后在云計算平臺上實現(xiàn)。要對海量數(shù)據(jù)集進行聚類分析，就必須保證系統(tǒng)能維持在一個穩(wěn)定、高效的環(huán)境。論文設(shè)計了基于Hadoop的并行化算法，在搭建了簡單的Hadoop環(huán)境后，通過在MapReduce框架下對DBSCAN聚類算法進行封裝，大大提高了算法的運行效率。最后利用復(fù)制的大規(guī)模充電站數(shù)據(jù)對基于云計算的改進算法進行了驗證，實驗結(jié)果表明，基于云