基于圖的半監(jiān)督學(xué)習(xí)算法及其應(yīng)用.pdf

1、在傳統(tǒng)機(jī)器學(xué)習(xí)中，學(xué)習(xí)器需要對(duì)大量標(biāo)記數(shù)據(jù)進(jìn)行學(xué)習(xí)從而建立模型來(lái)對(duì)未標(biāo)記數(shù)據(jù)或未見(jiàn)數(shù)據(jù)進(jìn)行預(yù)測(cè)。而實(shí)際應(yīng)用中，海量的未標(biāo)記數(shù)據(jù)是容易獲取的，而對(duì)其進(jìn)行準(zhǔn)確標(biāo)記往往較為困難。因此，人們嘗試將大量的未標(biāo)記數(shù)據(jù)加入到有限的標(biāo)記數(shù)據(jù)中一起進(jìn)行訓(xùn)練學(xué)習(xí)，期望能夠改進(jìn)學(xué)習(xí)性能，于是產(chǎn)生了半監(jiān)督學(xué)習(xí)，旨在解決監(jiān)督學(xué)習(xí)模型泛化能力不強(qiáng)、非監(jiān)督學(xué)習(xí)的模型不精確等問(wèn)題。其中，基于圖的半監(jiān)督學(xué)習(xí)算法因其良好的性能和易于求解的優(yōu)點(diǎn)得到了廣泛關(guān)注?；趫D的半監(jiān)督

2、學(xué)習(xí)算法主要包括兩個(gè)步驟:1）在輸入數(shù)據(jù)上構(gòu)造圖;2）在構(gòu)造的圖上運(yùn)用合適的學(xué)習(xí)算法推斷圖中未標(biāo)記樣本。本文主要針對(duì)這兩個(gè)步驟，提出了兩種圖構(gòu)造算法和兩種半監(jiān)督嵌入算法。論文主要工作如下:
　　1.提出了一種基于數(shù)據(jù)自表示和拉普拉斯平滑約束的圖構(gòu)造算法(SRLS)及其多個(gè)變種。研究表明數(shù)據(jù)表示所得到的表示系數(shù)反映了數(shù)據(jù)之間的相似度關(guān)系，可作為一種相似度衡量。這種相似度衡量可用于圖中數(shù)據(jù)之間連接邊的權(quán)值。而數(shù)據(jù)自表示所得到的系數(shù)表示

3、矩陣的每列可看成對(duì)應(yīng)原數(shù)據(jù)一種新的表示，因此本文認(rèn)為這種新的表示數(shù)據(jù)應(yīng)當(dāng)具備原始數(shù)據(jù)的某些特點(diǎn)。比如原始數(shù)據(jù)中兩個(gè)較為接近的數(shù)據(jù)點(diǎn)所對(duì)應(yīng)的新表示數(shù)據(jù)點(diǎn)之間應(yīng)當(dāng)具有較高相似度，這種約束關(guān)系在稱為拉普拉斯平滑約束。SRLS圖構(gòu)造算法在l2范數(shù)最小化的數(shù)據(jù)自表示算法基礎(chǔ)上，引入拉普拉斯平滑約束，并以此來(lái)構(gòu)造圖。由于l2范數(shù)最小化的數(shù)據(jù)自表示算法得到的系數(shù)表示矩陣往往是稠密的，為增加系數(shù)表示矩陣的稀疏度，本文又提出了一種基于SRLS圖的兩步算法

4、。此外，分別將原線性空間擴(kuò)展到希爾伯特空間和列生成空間，本文提出了兩種核SRLS算法。核SRLS算法是通過(guò)迭代實(shí)現(xiàn)的，深入研究發(fā)現(xiàn)其優(yōu)化問(wèn)題在一定約束條件下可直接得到最優(yōu)解，于是提出了一種約束核SRLS算法。
　　2.提出了一種拉普拉斯平滑約束稀疏圖算法(SGLS)及其多個(gè)變種。SGLS算法在稀疏圖的基礎(chǔ)上引入拉普拉斯平滑約束來(lái)構(gòu)造圖。稀疏圖通過(guò)稀疏數(shù)據(jù)自表示得到，其核心是稀疏表示算法，通過(guò)l1范數(shù)優(yōu)化問(wèn)題得到稀疏表示系數(shù)。所提出

5、的SGLS算法繼承了稀疏圖的許多特性，比如系數(shù)表示矩陣稀疏度高、對(duì)噪聲魯棒等。此外，本文也提出了核SGLS算法。同時(shí)，核SGLS算法所解決的優(yōu)化問(wèn)題在一定約束條件下可直接得到最優(yōu)解，提出了一種約束核SGLS算法。
　　3.提出了一種約束稀疏保持嵌入算法(CSPE)。稀疏保持投影算法(SPP)是一種經(jīng)典的非監(jiān)督嵌入算法，其通過(guò)在嵌入空間中保持原始數(shù)據(jù)空間中數(shù)據(jù)之間的稀疏表示結(jié)構(gòu)。受其啟發(fā)，本文提出了一種新的半監(jiān)督嵌入算法，稱其為帶約