SVM解的簡(jiǎn)化方法及CS中稀疏信號(hào)的重構(gòu)方法研究.pdf

1、機(jī)器學(xué)習(xí)的研究始于上世紀(jì)60年代初，至今已經(jīng)廣泛地應(yīng)用到模式識(shí)別、信號(hào)處理、圖像處理、數(shù)據(jù)挖掘和智能控制等方面。在機(jī)器學(xué)習(xí)中假設(shè)函數(shù)的稀疏性對(duì)檢驗(yàn)速度和推廣性能是至關(guān)重要的，而稀疏信號(hào)的重構(gòu)在壓縮感知中也扮演著舉足輕重的作用。本文從支持向量機(jī)的稀疏性和壓縮感知中稀疏信號(hào)重構(gòu)方法的角度出發(fā)，結(jié)合有約束二次規(guī)劃和無(wú)約束二次規(guī)劃的特性，在簡(jiǎn)化支持向量以提高分類(lèi)速度方面和提高壓縮感知中重構(gòu)算法速度方面進(jìn)行了研究。本文的主要工作包括以下內(nèi)容：

2、r>　　 ⑴支持向量機(jī)(Support Vector Machine，簡(jiǎn)稱(chēng)SVM)在數(shù)據(jù)的稀疏表示上具有良好的表現(xiàn)，但SVM得到的支持向量仍然存在冗余。為了提高SVM解的稀疏性，本文提出一種l1正則最小二乘規(guī)劃的方法，該方法能夠得到一組約減向量，其個(gè)數(shù)要少于支持向量個(gè)數(shù)。為了求解l1正則最小二乘規(guī)劃，我們使用序列最小優(yōu)化(Sequence Minimal Optimization，簡(jiǎn)稱(chēng)SMO)方法求解。
　　 ⑵目前支持向量機(jī)

3、已經(jīng)在人臉檢測(cè)中得到了應(yīng)用，但是在檢測(cè)過(guò)程中計(jì)算復(fù)雜度很大，這是由于支持向量機(jī)得到的支持向量個(gè)數(shù)較多。對(duì)此，我們將l1正則最小二乘規(guī)劃方法，引入到人臉檢測(cè)過(guò)程中，并在SMO方法的基礎(chǔ)上提出了多元素序列優(yōu)化法(Multi-element Sequence Optimization，簡(jiǎn)稱(chēng)MSO)。MSO方法可以改變當(dāng)前工作集中元素個(gè)數(shù)，從而使算法的速度和分類(lèi)性能達(dá)到動(dòng)態(tài)的平衡。首先利用SVM進(jìn)行訓(xùn)練，然后稀疏化表示支持向量并產(chǎn)生約減向量集，

4、最后把約減向量集應(yīng)用到檢測(cè)過(guò)程中。相比較于SVM，實(shí)驗(yàn)證明了本文的方法可大大提高檢測(cè)速度。
　　 ⑶近幾年來(lái)出現(xiàn)在壓縮感知(Compressed Sensing，簡(jiǎn)稱(chēng)CS)中的稀疏信號(hào)重構(gòu)問(wèn)題得到了學(xué)者的廣泛重視，它要求以高概率和高速度重構(gòu)稀疏信號(hào)。在研究中，我們發(fā)現(xiàn)重構(gòu)問(wèn)題的形式相似于我們提出的l1正則最小二乘規(guī)劃，因此我們對(duì)前面的MSO方法進(jìn)行了改進(jìn)，提出了一種序列重構(gòu)法(Sequence ReconstructionMet