大數(shù)據(jù)下的在線機器學(xué)習(xí)算法研究與應(yīng)用.pdf

1、隨著信息技術(shù)的快速發(fā)展，大數(shù)據(jù)中蘊含的價值愈發(fā)受到關(guān)注，如何對大數(shù)據(jù)進行高效的分析成為了一個重要的課題。機器學(xué)習(xí)是進行數(shù)據(jù)分析的常用方法之一，傳統(tǒng)的機器學(xué)習(xí)算法常被設(shè)計為離線批量訓(xùn)練的方式，然而該方式已難以適用于大數(shù)據(jù)環(huán)境中具有海量規(guī)模并持續(xù)增長的數(shù)據(jù)集。如何對傳統(tǒng)機器學(xué)習(xí)算法進行改造使其能更好的適用于大數(shù)據(jù)環(huán)境成為目前的研究熱點。
　　本文的主要內(nèi)容包括以下幾個部分。
　　首先，本文對大數(shù)據(jù)和機器學(xué)習(xí)兩個領(lǐng)域中應(yīng)用最廣泛的

2、技術(shù)進行了系統(tǒng)性的介紹和分析。對于大數(shù)據(jù)技術(shù)，介紹了Hadoop的生態(tài)并分析了HDFS、MapReduce、YARN三個核心組件的原理。介紹了Spark的BDAS環(huán)境并分析了RDD的原理，簡單總結(jié)了Flink、Storm、TensorFlow三個常用的大數(shù)據(jù)工具。對于機器學(xué)習(xí)技術(shù)，對有監(jiān)督學(xué)習(xí)算法（邏輯回歸、支持向量機），無監(jiān)督學(xué)習(xí)算法(K-means)，以及強化學(xué)習(xí)算法(Q-learning)的原理進行了闡述，總結(jié)了機器學(xué)習(xí)泛化能力和

3、分類器評價指標(biāo)。該部分的內(nèi)容是對算法進行改造的理論鋪墊。
　　第二，本文對在線機器學(xué)習(xí)算法的改造進行了研究。在傳統(tǒng)算法的在線化研究部分，指出了在線化的關(guān)鍵在于對訓(xùn)練方法的改造，對有監(jiān)督學(xué)習(xí)常用的梯度下降法和牛頓法進行在線化處理，得到了小批量梯度下降法和在線BFGS法。在大數(shù)據(jù)環(huán)境下的改造部分，對基于樣本維度和基于特征維度的數(shù)據(jù)分割的參數(shù)更新方法進行了推導(dǎo)，并對這兩種分割方式進行了對比。該部分的內(nèi)容完成了在線機器學(xué)習(xí)算法改造的理論分

4、析。
　　第三，本文設(shè)計并實現(xiàn)了用于在線機器學(xué)習(xí)的實驗平臺。在設(shè)計部分，針對大數(shù)據(jù)運行環(huán)境，設(shè)計了三套方案并分析了各自的優(yōu)缺點，選擇了自行搭建Hadoop集群的方案;針對開發(fā)工具，設(shè)計了兩套方案并分析了各自的優(yōu)缺點，并選擇了Hadoop Streaming配合Python的方案。在實現(xiàn)部分，給出了搭建實驗平臺時虛擬機的建立、系統(tǒng)的安裝、大數(shù)據(jù)環(huán)境的安裝以及遠程管理的具體步驟;對運行程序核心算法進行了實現(xiàn)，完成了算法的偽代碼描述和關(guān)

5、鍵函數(shù)定義;對系統(tǒng)運行邏輯進行了實現(xiàn)，對模型保存和持續(xù)訓(xùn)練兩個問題提出了解決方案。該部分的內(nèi)容是對后續(xù)進行算法實驗提供環(huán)境的準(zhǔn)備工作。
　　最后，本文將在線機器學(xué)習(xí)應(yīng)用到了電能質(zhì)量擾動分類問題當(dāng)中。該部分先對電能質(zhì)量擾動分類進行了簡單概述。在分析了獲取電能質(zhì)量數(shù)據(jù)集的兩種思路后，給出了利用數(shù)學(xué)模型生成電能質(zhì)量數(shù)據(jù)集的方法和步驟。闡述了利用level10db4小波變換和能量統(tǒng)計量提取電能質(zhì)量樣本中的特征的方法和步驟。之后，分析了傳統(tǒng)

6、機器學(xué)習(xí)算法中邏輯回歸和支持向量機的分類效果，得到了在數(shù)據(jù)量足夠多的情況下不同算法的分類性能將趨近一致的結(jié)論。分析了在線支持向量機訓(xùn)練時兩個超參數(shù)對訓(xùn)練過程的影響，得到了當(dāng)數(shù)據(jù)量較大時訓(xùn)練方法的超參數(shù)對訓(xùn)練過程影響較小的結(jié)論。分析了在線支持向量機和離線支持向量機的訓(xùn)練耗時和分類效果，得到了在線支持向量機相對離線支持向量機分類效果略弱但訓(xùn)練耗時大幅減少的結(jié)論。分析了不同計算節(jié)點數(shù)量下在線支持向量機的訓(xùn)練耗時，得到了在數(shù)據(jù)量較多時增加計算節(jié)