面向降維的圖學(xué)習(xí)研究及應(yīng)用.pdf

1、機(jī)器學(xué)習(xí)是人工智能的核心研究領(lǐng)域之一。機(jī)器學(xué)習(xí)中大量算法與圖密切相關(guān)，如譜聚類，半監(jiān)督學(xué)習(xí)與降維技術(shù)等，其中圖通常用于刻畫數(shù)據(jù)間的相似性關(guān)系。在該類算法中，圖構(gòu)建的好壞對(duì)算法的性能有著重要影響。因而如何構(gòu)建一個(gè)高質(zhì)量的圖成為近年來機(jī)器學(xué)習(xí)領(lǐng)域的一個(gè)研究熱點(diǎn)。本文提出了一種新的構(gòu)圖思想，并針對(duì)降維技術(shù)對(duì)其進(jìn)行了系統(tǒng)研究，主要工作如下：
　　 (1)同時(shí)降維與圖學(xué)習(xí)的思想。傳統(tǒng)的圖構(gòu)建方法往往獨(dú)立于學(xué)習(xí)任務(wù)，即先構(gòu)圖，再將其應(yīng)用于后

2、續(xù)的學(xué)習(xí)任務(wù)(如降維)。這樣一旦構(gòu)建了一個(gè)“壞”的圖，且在學(xué)習(xí)任務(wù)中固定不變，勢(shì)必會(huì)嚴(yán)重影響算法的性能。本文針對(duì)降維問題，提出了同時(shí)降維與圖學(xué)習(xí)的思想，嘗試將圖作為優(yōu)化變量在降維過程中完成學(xué)習(xí)。然后，提出了四種降維算法(2)-(5)對(duì)該思想進(jìn)行了具體實(shí)現(xiàn)。
　　 (2)熵正則化的同時(shí)降維與圖學(xué)習(xí)?；诰植勘３滞队癓PP，通過對(duì)圖施加熵正則化約束提出了圖優(yōu)化的局部保持投影GoLPP算法，導(dǎo)出了一個(gè)帶有熱核權(quán)的圖更新公式。GoLPP

3、有效減輕了原始LPP算法對(duì)k近鄰(建圖)準(zhǔn)則的嚴(yán)重依賴性，并且實(shí)驗(yàn)驗(yàn)證了如此優(yōu)化的圖往往有利于后續(xù)分類性能的提高。
　　 (3)半監(jiān)督的同時(shí)降維與圖學(xué)習(xí)。由于GoLPP中強(qiáng)的約束導(dǎo)致其無法(像傳統(tǒng)半監(jiān)督算法那樣)自然地嵌入監(jiān)督信息，因而，我們首先通過松弛約束改進(jìn)了GoLPP，然后在圖的優(yōu)化過程中嵌入逐對(duì)約束的監(jiān)督信息，得到了具有概率含義的半監(jiān)督邊權(quán)更新公式。與其它半監(jiān)督算法相比，實(shí)驗(yàn)驗(yàn)證了其有效性。
　　 (4)預(yù)定義圖

4、約束的同時(shí)降維與圖學(xué)習(xí)。GoLPP的圖更新公式僅依賴于投影空間的信息，然而我們通過實(shí)驗(yàn)證明投影空間的信息未必總是可靠。為避免圖在優(yōu)化時(shí)跟隨投影方向自由變動(dòng)，本文試圖在圖的優(yōu)化過程中對(duì)圖施加一定的約束，將其限制在預(yù)定義圖S0附近。這樣得到的圖更新公式是原始空間中預(yù)指定圖S0與投影空間中新建圖(帶有負(fù)歐氏距離權(quán))的加權(quán)和，既結(jié)合了原始數(shù)據(jù)信息，又利用了不同投影數(shù)據(jù)的信息。實(shí)驗(yàn)驗(yàn)證了該模型具有更強(qiáng)的適應(yīng)性。
　　 (5)稀疏約束的同時(shí)

5、降維與圖學(xué)習(xí)。GoLPP中對(duì)圖施加了最大熵原則，導(dǎo)致其喪失了傳統(tǒng)圖(如k近鄰圖)中的稀疏性。本文將稀疏表示建圖與尋求投影方向(保持這樣的圖)同時(shí)進(jìn)行，提出了稀疏約束的同時(shí)降維與圖學(xué)習(xí)算法，為稀疏保持投影SPP與GoLPP之間提供了一種自然聯(lián)系。在某些數(shù)據(jù)集上實(shí)驗(yàn)驗(yàn)證了所提算法較GoLPP及SPP具有更好的性能。
　　 (6)同時(shí)降維與圖學(xué)習(xí)的正則化框架。將上述算法統(tǒng)一起來，根據(jù)不同先驗(yàn)，動(dòng)機(jī)或假設(shè)施加不同的正則化項(xiàng)，從而得到不同