基于稀疏和低秩約束的模型學(xué)習(xí)研究.pdf

1、稀疏約束和低秩約束是近年來出現(xiàn)的熱點研究方向，目前已經(jīng)被廣泛地應(yīng)用在機器學(xué)習(xí)和模式識別領(lǐng)域，如人臉識別、視頻分析、圖像分割等。從目前的研究中可以看出：1）稀疏和低秩約束能夠有效地提高模型的魯棒性。2）稀疏和低秩約束可以有效地提高子空間學(xué)習(xí)效率，例如提高維度約減的效率、抽取高效的特征以及提高子空間聚類的準(zhǔn)確率。針對這兩個方面的研究，學(xué)者們提出了一些新穎的基于稀疏或者低秩約束的模型，并且在一些實際應(yīng)用中取得了令人滿意的結(jié)果。同時，作為稀疏約

2、束和低秩約束問題的推廣，一些同時采用低秩和稀疏約束的新模型也引起了學(xué)者們的注意。本論文以提高模型的魯棒性以及學(xué)習(xí)效率為研究目標(biāo)，提出了一些新的基于稀疏和低秩約束的模型并成功應(yīng)用于有監(jiān)督學(xué)習(xí)、半監(jiān)督學(xué)習(xí)和無監(jiān)督學(xué)習(xí)。具體地說，本論文的主要工作概況如下。
　?。?）提出一個基于低秩和稀疏嵌入的子空間學(xué)習(xí)框架以提高子空間的學(xué)習(xí)效率以及模型的魯棒性。該框架將目前的子空間學(xué)習(xí)方法統(tǒng)一到低秩和稀疏的嵌入框架中。首先，將一些傳統(tǒng)的子空間學(xué)習(xí)方法

3、重寫為一個統(tǒng)一的線性模型，然后將該模型并入到低秩和稀疏嵌入的子空間學(xué)習(xí)框架中，進而形成一系列新的子空間學(xué)習(xí)方法。該框架利用低秩和稀疏表示來并入數(shù)據(jù)的全局和局部結(jié)構(gòu)到子空間學(xué)習(xí)中以提高子空間的學(xué)習(xí)效率。同時使用一個稀疏矩陣擬合噪聲來提高模型對于不同的噪聲數(shù)據(jù)的魯棒性。實驗證明，由該框架導(dǎo)出的新算法無論在有監(jiān)督還是無監(jiān)督的情形下都能夠有效地提高分類準(zhǔn)確率。
　?。?）提出一個基于非負(fù)稀疏約束的圖學(xué)習(xí)模型，利用非負(fù)稀疏約束來提高圖的學(xué)習(xí)

4、效率以及半監(jiān)督聚類的準(zhǔn)確率。具體地說，本文首先分析了傳統(tǒng)半監(jiān)督聚類方法的缺陷，即預(yù)先定義的圖不能準(zhǔn)確地傳遞標(biāo)簽信息。為處理這個問題，本文首先提出了一個新的非負(fù)稀疏圖學(xué)習(xí)模型，該模型將非負(fù)稀疏約束引入圖學(xué)習(xí)中并將圖學(xué)習(xí)和半監(jiān)督學(xué)習(xí)方法并入到一個學(xué)習(xí)框架中，使得該框架能夠?qū)W習(xí)到一個最優(yōu)的圖結(jié)構(gòu)，進而保證標(biāo)簽信息的準(zhǔn)確傳遞。為了使得該框架具有處理新數(shù)據(jù)的能力，我們在該框架中引入一個線性回歸模型，使得該框架不僅可以有效地提高半監(jiān)督學(xué)習(xí)能力，而且

5、可以有效地分類新的數(shù)據(jù)，即有效地解決了“out of sample”問題。
　?。?）提出一個正則化的標(biāo)簽松弛線性回歸模型和一個基于稀疏約束的魯棒性正則化的標(biāo)簽松弛線性回歸模型為解決傳統(tǒng)的線性回歸方法將所有的樣本投影到一個二值化的標(biāo)簽矩陣，忽略了樣本之間的差別的問題。模型不僅可以擴大不同類樣本之間的距離，而且可以有效地解決模型的過擬合問題。為了增強模型的魯棒性，本文引入一個新穎的稀疏約束，即2,1范數(shù)到模型中進而提出魯棒性正則化的

6、標(biāo)簽松弛回歸模型。由于使用了基于2,1范數(shù)的損失函數(shù)，該模型可以有效地處理噪聲數(shù)據(jù)。針對這兩個模型，提出了兩個對應(yīng)的優(yōu)化算法，使得分類更有效，運算更快捷。
　?。?）提出一個基于稀疏約束的特征抽取模型為抽取高效的特征。模型通過一個簡單的k近鄰圖來反映樣本的局部結(jié)構(gòu)，進而引導(dǎo)重構(gòu)系數(shù)之間的相似性，并且引入一個基于行一致性稀疏的2,1范數(shù)的投影矩陣來選擇最相關(guān)的特征以保持?jǐn)?shù)據(jù)的局部性和重構(gòu)系數(shù)之間的相似性。通過理論分析和實驗驗證，該方

7、法在沒有標(biāo)簽信息的情況下可以選擇鑒別性的特征并且選擇的特征具有較好的穩(wěn)定性。
　　（5）為提高半監(jiān)督子空間聚類的效率，提出了一個基于非負(fù)低秩表示的魯棒性半監(jiān)督子空間聚類模型。該模型通過1)利用類標(biāo)簽信息來指導(dǎo)仿射圖的構(gòu)建；2)將非負(fù)低秩表示框架和半監(jiān)督子空間聚類函數(shù)并入到一個統(tǒng)一的框架下，使得學(xué)習(xí)到的仿射圖可以準(zhǔn)確地將數(shù)據(jù)劃分到各自的子空間。為提高模型的魯棒性，使用一個稀疏的矩陣來擬合噪聲，使得模型對于不同的噪聲具有較強的魯棒性且