基于Hadoop平臺下回歸算法的性能研究.pdf

1、云計算是在網(wǎng)格計算基礎之上發(fā)展起來的一種新型的商業(yè)計算模型，近年來逐漸成為全球各大IT巨頭熱炒的概念。它能夠提供動態(tài)資源池、虛擬化和高可用性的計算平臺。云計算的發(fā)展給數(shù)據(jù)挖掘技術的發(fā)展帶來了新的挑戰(zhàn)和機遇。云計算可以使用大量的廉價計算機通過集群來代替價格高昂的服務器，大大降低了計算成本。HADOOP是一個用于構建云平臺的Apache開源項目。使用HADOOP框架有利于我們方便、快速的實現(xiàn)計算機集群。在HADOOP平臺上，采用了HDFS(

2、分布式文件系統(tǒng))來實現(xiàn)超大文件的存儲和容錯，使用了Map Reduce的編程模式來進行計算。將HADOOP運用到數(shù)據(jù)挖掘，一個關鍵的問題就是如何實現(xiàn)將傳統(tǒng)的數(shù)據(jù)挖掘算法實行并行化。對于傳統(tǒng)的數(shù)據(jù)挖掘算法，結合算法自身的特點，我們需要深入研究才能發(fā)現(xiàn)它是否能夠并行。對于能夠并行實現(xiàn)的算法，結合Map Reduce編程模式，我們可以將其移植到HADOOP平臺上，從而高效的、并行的完成各種數(shù)據(jù)挖掘任務。強局部加權回歸算法和Logistic回歸

3、分析越來越多的被用來預測，強局部加權回歸算法由于其相對于一般的線性回歸技術要快，而且提供的是一種萬能的曲線擬合，不管對于多么復雜的曲線都能進行擬合，訓練的速度快、學習復雜的目標函數(shù)、信息不易丟失都是其優(yōu)點；Logistic回歸分析在統(tǒng)計上是基于一個或者多個變量來預測一個明確的結果的回歸分析，
　　本文首先介紹了云計算和 HADOOP平臺的核心架構以及運行機制。然后結合傳統(tǒng)的數(shù)據(jù)挖掘系統(tǒng)提出了基于 HADOOP的數(shù)據(jù)挖掘平臺的技術架