大數(shù)據(jù)下的在線機(jī)器學(xué)習(xí)算法研究與應(yīng)用.pdf

1、隨著信息技術(shù)的快速發(fā)展，大數(shù)據(jù)中蘊(yùn)含的價(jià)值愈發(fā)受到關(guān)注，如何對(duì)大數(shù)據(jù)進(jìn)行高效的分析成為了一個(gè)重要的課題。機(jī)器學(xué)習(xí)是進(jìn)行數(shù)據(jù)分析的常用方法之一，傳統(tǒng)的機(jī)器學(xué)習(xí)算法常被設(shè)計(jì)為離線批量訓(xùn)練的方式，然而該方式已難以適用于大數(shù)據(jù)環(huán)境中具有海量規(guī)模并持續(xù)增長(zhǎng)的數(shù)據(jù)集。如何對(duì)傳統(tǒng)機(jī)器學(xué)習(xí)算法進(jìn)行改造使其能更好的適用于大數(shù)據(jù)環(huán)境成為目前的研究熱點(diǎn)。
　　本文的主要內(nèi)容包括以下幾個(gè)部分。
　　首先，本文對(duì)大數(shù)據(jù)和機(jī)器學(xué)習(xí)兩個(gè)領(lǐng)域中應(yīng)用最廣泛的

2、技術(shù)進(jìn)行了系統(tǒng)性的介紹和分析。對(duì)于大數(shù)據(jù)技術(shù)，介紹了Hadoop的生態(tài)并分析了HDFS、MapReduce、YARN三個(gè)核心組件的原理。介紹了Spark的BDAS環(huán)境并分析了RDD的原理，簡(jiǎn)單總結(jié)了Flink、Storm、TensorFlow三個(gè)常用的大數(shù)據(jù)工具。對(duì)于機(jī)器學(xué)習(xí)技術(shù)，對(duì)有監(jiān)督學(xué)習(xí)算法（邏輯回歸、支持向量機(jī)），無監(jiān)督學(xué)習(xí)算法(K-means)，以及強(qiáng)化學(xué)習(xí)算法(Q-learning)的原理進(jìn)行了闡述，總結(jié)了機(jī)器學(xué)習(xí)泛化能力和

3、分類器評(píng)價(jià)指標(biāo)。該部分的內(nèi)容是對(duì)算法進(jìn)行改造的理論鋪墊。
　　第二，本文對(duì)在線機(jī)器學(xué)習(xí)算法的改造進(jìn)行了研究。在傳統(tǒng)算法的在線化研究部分，指出了在線化的關(guān)鍵在于對(duì)訓(xùn)練方法的改造，對(duì)有監(jiān)督學(xué)習(xí)常用的梯度下降法和牛頓法進(jìn)行在線化處理，得到了小批量梯度下降法和在線BFGS法。在大數(shù)據(jù)環(huán)境下的改造部分，對(duì)基于樣本維度和基于特征維度的數(shù)據(jù)分割的參數(shù)更新方法進(jìn)行了推導(dǎo)，并對(duì)這兩種分割方式進(jìn)行了對(duì)比。該部分的內(nèi)容完成了在線機(jī)器學(xué)習(xí)算法改造的理論分

4、析。
　　第三，本文設(shè)計(jì)并實(shí)現(xiàn)了用于在線機(jī)器學(xué)習(xí)的實(shí)驗(yàn)平臺(tái)。在設(shè)計(jì)部分，針對(duì)大數(shù)據(jù)運(yùn)行環(huán)境，設(shè)計(jì)了三套方案并分析了各自的優(yōu)缺點(diǎn)，選擇了自行搭建Hadoop集群的方案;針對(duì)開發(fā)工具，設(shè)計(jì)了兩套方案并分析了各自的優(yōu)缺點(diǎn)，并選擇了Hadoop Streaming配合Python的方案。在實(shí)現(xiàn)部分，給出了搭建實(shí)驗(yàn)平臺(tái)時(shí)虛擬機(jī)的建立、系統(tǒng)的安裝、大數(shù)據(jù)環(huán)境的安裝以及遠(yuǎn)程管理的具體步驟;對(duì)運(yùn)行程序核心算法進(jìn)行了實(shí)現(xiàn)，完成了算法的偽代碼描述和關(guān)

5、鍵函數(shù)定義;對(duì)系統(tǒng)運(yùn)行邏輯進(jìn)行了實(shí)現(xiàn)，對(duì)模型保存和持續(xù)訓(xùn)練兩個(gè)問題提出了解決方案。該部分的內(nèi)容是對(duì)后續(xù)進(jìn)行算法實(shí)驗(yàn)提供環(huán)境的準(zhǔn)備工作。
　　最后，本文將在線機(jī)器學(xué)習(xí)應(yīng)用到了電能質(zhì)量擾動(dòng)分類問題當(dāng)中。該部分先對(duì)電能質(zhì)量擾動(dòng)分類進(jìn)行了簡(jiǎn)單概述。在分析了獲取電能質(zhì)量數(shù)據(jù)集的兩種思路后，給出了利用數(shù)學(xué)模型生成電能質(zhì)量數(shù)據(jù)集的方法和步驟。闡述了利用level10db4小波變換和能量統(tǒng)計(jì)量提取電能質(zhì)量樣本中的特征的方法和步驟。之后，分析了傳統(tǒng)

6、機(jī)器學(xué)習(xí)算法中邏輯回歸和支持向量機(jī)的分類效果，得到了在數(shù)據(jù)量足夠多的情況下不同算法的分類性能將趨近一致的結(jié)論。分析了在線支持向量機(jī)訓(xùn)練時(shí)兩個(gè)超參數(shù)對(duì)訓(xùn)練過程的影響，得到了當(dāng)數(shù)據(jù)量較大時(shí)訓(xùn)練方法的超參數(shù)對(duì)訓(xùn)練過程影響較小的結(jié)論。分析了在線支持向量機(jī)和離線支持向量機(jī)的訓(xùn)練耗時(shí)和分類效果，得到了在線支持向量機(jī)相對(duì)離線支持向量機(jī)分類效果略弱但訓(xùn)練耗時(shí)大幅減少的結(jié)論。分析了不同計(jì)算節(jié)點(diǎn)數(shù)量下在線支持向量機(jī)的訓(xùn)練耗時(shí)，得到了在數(shù)據(jù)量較多時(shí)增加計(jì)算節(jié)