子空間學(xué)習(xí)若干問(wèn)題研究及其應(yīng)用.pdf

1、子空間學(xué)習(xí)是機(jī)器學(xué)習(xí)領(lǐng)域的一個(gè)熱門課題，被廣泛應(yīng)用于計(jì)算機(jī)視覺(jué)、分析化學(xué)、生物信息學(xué)等領(lǐng)域。對(duì)維度高、訓(xùn)練樣本少的數(shù)據(jù)，常用的回歸、分類模型經(jīng)常出現(xiàn)過(guò)擬合、參數(shù)估計(jì)誤差大等問(wèn)題。然而，數(shù)據(jù)雖然是高維的，但是可能分布在一個(gè)低維的子空間上，在此低維子空間上對(duì)數(shù)據(jù)的回歸或分類就能避免出現(xiàn)過(guò)擬合、參數(shù)估計(jì)誤差大等問(wèn)題。子空間學(xué)習(xí)是解決這個(gè)問(wèn)題的一個(gè)重要途徑。針對(duì)具體的回歸、分類等任務(wù)，學(xué)習(xí)最優(yōu)的子空間是子空間學(xué)習(xí)的核心問(wèn)題。
　　針對(duì)回歸

2、、分類等問(wèn)題，研究者基于各種準(zhǔn)則通過(guò)設(shè)計(jì)對(duì)應(yīng)的目標(biāo)函數(shù)以及對(duì)回歸系數(shù)、投影向量的正則化方法提出了多種子空間學(xué)習(xí)模型，然而，由于具體問(wèn)題的復(fù)雜性，如何根據(jù)具體的回歸、分類任務(wù)設(shè)計(jì)目標(biāo)函數(shù)以及回歸系數(shù)、投影向量的正則化方法以得到最高的回歸、分類準(zhǔn)確度，仍然是子空間學(xué)習(xí)中的一個(gè)困難問(wèn)題。
　　本文的工作圍繞子空間學(xué)習(xí)理論中設(shè)計(jì)最優(yōu)的目標(biāo)函數(shù)以及回歸系數(shù)、投影向量的正則化方法的幾個(gè)問(wèn)題展開(kāi)研究，集中研究了以最小化錯(cuò)誤分類率、最小化均方誤差

3、為目標(biāo)學(xué)習(xí)最優(yōu)投影向量、數(shù)據(jù)之間具有相關(guān)性的子空間建模這三個(gè)問(wèn)題。
　　本文的研究?jī)?nèi)容及取得的成果包括以下幾個(gè)方面：
　　1.研究了線性分類問(wèn)題中的最優(yōu)投影向量的問(wèn)題，提出了一種近似最優(yōu)的線性判別模型。針對(duì)現(xiàn)有的線性判別分析模型沒(méi)有考慮投影向量是否最優(yōu)的、依賴于從樣本中估計(jì)分布的均值和協(xié)方差矩陣等問(wèn)題，在數(shù)據(jù)服從Laplacian分布的情況下，分析了最小錯(cuò)分率意義下求最優(yōu)投影向量的準(zhǔn)則，并給出了魯棒的線性判別分析模型及線性規(guī)

4、劃求解方法。該模型依賴于中值和平均絕對(duì)偏差的估計(jì)，比均值和協(xié)方差矩陣的估計(jì)要魯棒，適合訓(xùn)練樣本較少、有噪聲或異常點(diǎn)的情況。在服從高斯分布、Laplacian分布、有屬性缺失的高斯分布的數(shù)據(jù)上的仿真實(shí)驗(yàn)顯示該模型都具有較好的分類效果。
　　2.研究了線性回歸問(wèn)題中的最優(yōu)投影向量的問(wèn)題，提出了一種近似最優(yōu)的偏最小二乘模型。針對(duì)特征有噪聲的情況，分析了均方誤差與投影向量的關(guān)系，給出了基于偏最小二乘框架提取最優(yōu)投影向量的回歸模型。并進(jìn)一步

5、提出了一種近似最優(yōu)模型，給出了基于廣義特征值分解的模型求解方法。標(biāo)準(zhǔn)庫(kù)上的實(shí)驗(yàn)顯示該模型具有更小的預(yù)測(cè)誤差，且使用了更少的隱藏變量。
　　3.研究了對(duì)不同樣本之間的相關(guān)性、同一樣本不同特征之間相關(guān)性的聯(lián)合建模問(wèn)題，提出了基于回歸框架的多任務(wù)多視角學(xué)習(xí)模型以及對(duì)應(yīng)的核多任務(wù)多視角學(xué)習(xí)模型，給出了顯示求解算法。并將該學(xué)習(xí)模型應(yīng)用到視頻跟蹤問(wèn)題中，通過(guò)該模型實(shí)現(xiàn)了對(duì)視頻相鄰幀之間的相關(guān)性、多種特征的相關(guān)性性的聯(lián)合建模，在多個(gè)標(biāo)準(zhǔn)數(shù)據(jù)庫(kù)上