云計算平臺下的數(shù)據(jù)挖掘研究.pdf

1、現(xiàn)代的互聯(lián)網(wǎng)信息中蘊含著非常豐富的商業(yè)價值，高速準(zhǔn)確地從這些數(shù)據(jù)中挖掘出有用的信息和知識，可以讓互聯(lián)網(wǎng)提供商在激烈的商業(yè)競爭中占領(lǐng)先機，從而獲取商業(yè)上的成功與經(jīng)濟(jì)利益。數(shù)據(jù)挖掘最初只是用于處理少量數(shù)據(jù)，隨著輸入的數(shù)據(jù)規(guī)模增大，程序處理耗費的時間將會非常長，對于如今爆炸式增長的互聯(lián)網(wǎng)數(shù)據(jù)甚至達(dá)到了單機都無法處理的地步。
　　云計算平臺非常適合處理大規(guī)模數(shù)據(jù)，具有非常高的可拓展性，可以通過動態(tài)增加平臺計算節(jié)點個數(shù)來增強其存儲和計算能力

2、。如果我們能夠?qū)鹘y(tǒng)的數(shù)據(jù)挖掘算法進(jìn)行相應(yīng)的改造，將其部署到云計算平臺之上，那么無疑可以解決互聯(lián)網(wǎng)大規(guī)模數(shù)據(jù)挖掘的難題。
　　本論文首先從云計算平臺的相關(guān)理論出發(fā)，分析了Google文件系統(tǒng)、分布式編程模型map-reduce、分布式數(shù)據(jù)存儲系統(tǒng)BigTable以及目前應(yīng)用非常廣泛的開源云計算平臺hadoop的框架結(jié)構(gòu)；其次以邏輯回歸算法和關(guān)聯(lián)規(guī)則算法為代表，提出了改進(jìn)過后的能夠應(yīng)用于云計算平臺上的算法；最后將算法移植到hadoo