基于極速學(xué)習(xí)機(jī)的深度學(xué)習(xí)在圖像分類上的研究.pdf

1、隨著信息技術(shù)的不斷發(fā)展，以神經(jīng)網(wǎng)絡(luò)為載體的深度學(xué)習(xí)逐漸成為了現(xiàn)階段各種先進(jìn)技術(shù)的代名詞。神經(jīng)網(wǎng)絡(luò)技術(shù)從上世紀(jì)出現(xiàn)以后，各種基于神經(jīng)網(wǎng)絡(luò)的模型逐漸用來解決實(shí)際場景中的各種問題。特別是在2012年的大規(guī)模圖像分類競賽中，基于深度學(xué)習(xí)的模型將分類結(jié)果提升了11個(gè)百分點(diǎn)以后，便促進(jìn)了現(xiàn)階段深度學(xué)習(xí)浪潮的形成。深度學(xué)習(xí)技術(shù)將人們從繁雜的人工設(shè)計(jì)特征轉(zhuǎn)換成了自動學(xué)習(xí)有效特征，強(qiáng)化模型抽象學(xué)習(xí)的能力，極大的促進(jìn)了圖像識別、圖像檢測、語音識別、追蹤等技

2、術(shù)的發(fā)展。
　　極速學(xué)習(xí)機(jī)自從2004年提出以來，在過去的十幾年間，有了長足的發(fā)展。首先各種理論研究的出現(xiàn)為極速學(xué)習(xí)機(jī)的發(fā)展奠定了堅(jiān)實(shí)的基礎(chǔ)，其次基于極速學(xué)習(xí)機(jī)的應(yīng)用，將其拓展到了真實(shí)場景中。不過在極速學(xué)習(xí)機(jī)中，不管從權(quán)值初始化還是更為有效的特征表達(dá)以及深度學(xué)習(xí)模型上，都有許多問題需要解決。
　　本文從極速學(xué)習(xí)機(jī)入手，探索了其權(quán)值初始化和分布式表達(dá)，并且提出并驗(yàn)證了卷積極速學(xué)習(xí)機(jī)。本文將通過如下三個(gè)方面開展：
　　首先

3、，對權(quán)值初始化進(jìn)行了研究，探究了權(quán)值初始化對于極速學(xué)習(xí)機(jī)的影響。所提出的方法可以解決極速學(xué)習(xí)機(jī)的隨機(jī)特征表達(dá)不具有緊湊性和判別性的問題，同時(shí)為其他方法提出了一個(gè)快速有效的權(quán)值初始化的解決方案；
　　其次，對于極速學(xué)習(xí)機(jī)的特征表達(dá)進(jìn)行了研究。分布式表達(dá)是特征表達(dá)中比較常用的方式，在極速學(xué)習(xí)機(jī)不需要權(quán)值調(diào)整的前提下，提出了基于極速學(xué)習(xí)機(jī)的分布式特征表達(dá)方式，不但可以將類別信息通過特征組合引入模型結(jié)構(gòu)中，而且提高了極速學(xué)習(xí)機(jī)的性能；