基于樣本和特征的遷移學(xué)習(xí)方法及應(yīng)用.pdf

1、隨著科技的飛速發(fā)展，現(xiàn)實生活中獲取的從多個數(shù)據(jù)源的多種形態(tài)的數(shù)據(jù)成指數(shù)級增長。如何對海量的高維、稀疏、含噪聲和非獨立同分布數(shù)據(jù)進(jìn)行快速有效的處理，進(jìn)而提取出用戶所需要的有價值信息，是數(shù)學(xué)、計算機(jī)科學(xué)及實際工程應(yīng)用領(lǐng)域的研究者普遍關(guān)心的問題。遷移學(xué)習(xí)是一種有效的數(shù)據(jù)處理工具，可以處理復(fù)雜海量數(shù)據(jù)。本文從遷移學(xué)習(xí)的必要性出發(fā)，從理論、方法和應(yīng)用三個層次上系統(tǒng)研究了遷移學(xué)習(xí)問題。本研究主要內(nèi)容包括：
　　⑴分析了已有遷移學(xué)習(xí)方法內(nèi)在關(guān)聯(lián)

2、，用統(tǒng)一的觀點歸納總結(jié)了現(xiàn)有的遷移學(xué)習(xí)方法，為遷移學(xué)習(xí)方法及應(yīng)用研究提供了理論支撐。對已有的遷移學(xué)習(xí)方法進(jìn)行了細(xì)致總結(jié)、分類，針對不同學(xué)習(xí)設(shè)置的遷移學(xué)習(xí)，把多任務(wù)學(xué)習(xí)、自學(xué)習(xí)、域適應(yīng)、樣本選擇偏置及協(xié)方差偏移等問題納入一個整體中；對傳統(tǒng)機(jī)器學(xué)習(xí)中的維數(shù)約簡、半監(jiān)督學(xué)習(xí)和主動學(xué)習(xí)等技術(shù)進(jìn)行深入研究，尋求它們與遷移學(xué)習(xí)的聯(lián)系，用已有的機(jī)器學(xué)習(xí)技術(shù)指導(dǎo)遷移學(xué)習(xí)算法設(shè)計。
　?、茖氡O(jiān)督學(xué)習(xí)技術(shù)應(yīng)用到遷移學(xué)習(xí)領(lǐng)域，建立了基于圖模型的遷移學(xué)

3、習(xí)方法，豐富了基于樣本的遷移學(xué)習(xí)理論及方法。通過構(gòu)建三部圖，將源域數(shù)據(jù)、目標(biāo)域數(shù)據(jù)以及它們之間相互關(guān)系統(tǒng)一到了三部圖中，通過學(xué)習(xí)該圖的圖譜，得到圖上所有頂點新的特征表示。用傳統(tǒng)的機(jī)器學(xué)習(xí)模型訓(xùn)練新的特征表示下的目標(biāo)域標(biāo)簽數(shù)據(jù)，得到分類器，然后預(yù)測目標(biāo)域非標(biāo)簽數(shù)據(jù)的標(biāo)簽。新的特征表示涵蓋了源域數(shù)據(jù)樣本空間、特征空間以及標(biāo)簽空間的信息，源域數(shù)據(jù)知識遷移到了目標(biāo)域中，使得傳統(tǒng)的學(xué)習(xí)模型可以有效的解決遷移學(xué)習(xí)問題。文本數(shù)據(jù)集上的實驗證明了方法的

4、有效性。
　?、翘岢隽嘶谙∈枵齽t化的子空間遷移學(xué)習(xí)方法，豐富了基于特征的遷移學(xué)習(xí)理論及方法。首先提出一種基于稀疏約束的非監(jiān)督最大間隔特征選擇方法。該方法將特征選擇和k均值聚類統(tǒng)一到一個框架中。在變換矩陣W中加入L2,1范數(shù)正則項，有利于特征選擇的進(jìn)行。提出了一個迭代算法解決凸優(yōu)化問題，確保其收斂到最優(yōu)值，給出了算法的收斂性分析，實驗結(jié)果表明了方法的有效性。然后將上述模型進(jìn)行擴(kuò)展，提出了一種遷移學(xué)習(xí)的統(tǒng)一框架，即遷移稀疏子空間學(xué)習(xí)

5、框架。該框架適用于不同的子空間學(xué)習(xí)方法，也適用于不同的遷移學(xué)習(xí)數(shù)據(jù)分布散度假設(shè)，如最大均值差異散度、Bregman散度和KL散度等。將有效的稀疏約束項加入遷移子空間學(xué)習(xí)問題中，有效減少了時間和空間復(fù)雜度，可以避免過擬合問題。針對不同的數(shù)據(jù)分布散度假設(shè)，提出了相應(yīng)的解決方案，并給出了收斂性分析。文本和圖像數(shù)據(jù)集上的實驗結(jié)果表明了算法的有效性。
　　⑷針對現(xiàn)實應(yīng)用中出現(xiàn)的高維、稀疏、噪聲和非獨立同分布數(shù)據(jù)，本文提出了一種基于圖正則和稀

6、疏正則的遷移學(xué)習(xí)模型。首先針對源域數(shù)據(jù)，提出了一種基于稀疏約束的魯棒非負(fù)矩陣分解模型，學(xué)習(xí)到的矩陣富含源域和目標(biāo)域數(shù)據(jù)的共有信息；其次將第一步中學(xué)到的矩陣作為遷移學(xué)習(xí)的橋梁，遷移到目標(biāo)域數(shù)據(jù)中，針對目標(biāo)域數(shù)據(jù)，提出了一種基于圖正則和稀疏正則的非負(fù)矩陣分解模型，完成對目標(biāo)域數(shù)據(jù)的重構(gòu)，該模型同時將魯棒損失函數(shù)、稀疏約束正則化和數(shù)據(jù)局部結(jié)構(gòu)特征等因素考慮進(jìn)目標(biāo)函數(shù)；然后，在重構(gòu)的稀疏目標(biāo)域數(shù)據(jù)上進(jìn)行特征選擇，得到目標(biāo)域數(shù)據(jù)新的特征表示；最后