面向在線環(huán)境的數(shù)據(jù)編碼問題研究.pdf

1、數(shù)據(jù)編碼問題一直是數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)、模式識別等領(lǐng)域的關(guān)鍵問題。隨著在線應(yīng)用的蓬勃發(fā)展，如在線購物，在線社交網(wǎng)絡(luò)等，在線數(shù)據(jù)規(guī)模日漸龐大，在線數(shù)據(jù)格式也多種多樣，如文本、視頻、圖像等。對復(fù)雜的在線數(shù)據(jù)進(jìn)行合理地編碼表示，對于在線數(shù)據(jù)挖掘起著關(guān)鍵作用。數(shù)據(jù)編碼的基通常分特征空間或訓(xùn)練數(shù)據(jù)集構(gòu)成的字典。當(dāng)數(shù)據(jù)編碼的基為特征空間，根據(jù)對編碼系數(shù)的不同約束，編碼問題可轉(zhuǎn)換為特征選擇問題和主成分分析問題。特征選擇問題相當(dāng)于通過對編碼系數(shù)進(jìn)行離散約

2、束，去除原始特征空間中冗余特征和不相關(guān)特征，得到一個最優(yōu)的特征表示子集;主成分分析問題則通過優(yōu)化函數(shù)得到一個連續(xù)值的編碼系數(shù)，獲得反映數(shù)據(jù)本質(zhì)結(jié)構(gòu)的編碼表示，最為著名的問題是得到復(fù)雜數(shù)據(jù)中的低秩結(jié)構(gòu)表示的主成分分析問題。當(dāng)數(shù)據(jù)表示的基為訓(xùn)練數(shù)據(jù)集構(gòu)成的字典，則編碼問題為通過字典對目標(biāo)數(shù)據(jù)進(jìn)行線性表示問題，近年來最為熱點(diǎn)的為稀疏編碼。因此，基于數(shù)據(jù)編碼方向，本文所研究的具體問題為特征選擇問題、主成分分析問題以及稀疏編碼問題。雖然這些問題研

3、究至今，已涌現(xiàn)出大量有效的相應(yīng)的算法，但是針對在線應(yīng)用環(huán)境帶來的更多挑戰(zhàn)，如龐大的特征空間，復(fù)雜的數(shù)據(jù)類型，已有算法存在一定的不足。更具體而言，特征選擇問題中的全局特征空間難以獲得，特征抽取代價高昂，高維特征空間的處理對服務(wù)器產(chǎn)生巨大壓力，而已有的特征選擇方法不能兼顧在線環(huán)境和特征之間的語義關(guān)聯(lián);主成分分析問題最為常用的方法為優(yōu)化核范數(shù)約束的目標(biāo)函數(shù)，得到低秩的真實(shí)數(shù)據(jù)編碼表示，然而，核范數(shù)約束僅為秩函數(shù)一個凸的近似問題，并不能保證得到

4、的解是真正的低秩;稀疏編碼問題常用的方法是對編碼系數(shù)進(jìn)行l(wèi)1范數(shù)約束，然而在線環(huán)境下訓(xùn)練字典結(jié)構(gòu)復(fù)雜多樣，一味采用稀疏約束，會導(dǎo)致編碼結(jié)果的不穩(wěn)定性。因此，為了解決以上實(shí)際問題，本文提出了以下解決方案，可總結(jié)為:
　　1)針對在線環(huán)境下，數(shù)據(jù)特征空間的動態(tài)性以及超高維問題，本文研究了在線特征選擇問題，提出了在線組特征選擇方法。在線特征選擇，即已知全局的樣本空間，動態(tài)抽取特征的過程，而非依賴全局的特征空間。已有的在線特征選擇算法可進(jìn)

5、行動態(tài)特征選擇，卻沒有考慮動態(tài)特征之間的關(guān)聯(lián)性，而特征之間的關(guān)聯(lián)性具有豐富的語義信息，對于特征選擇有重要的作用。因此，本文認(rèn)為特征之間具有組相關(guān)性，組內(nèi)特征具有完整的語義，如圖片的紋理特征，而特征組之間亦具有組間相關(guān)性。因此，本文針對此問題，提出在線組特征選擇算法(OnlineGroup Feature Selection，OGFS)，具體包括在線組內(nèi)特征選擇和在線組間特征選擇。在線組內(nèi)特征選擇根據(jù)組內(nèi)語義相關(guān)性，選擇具有強(qiáng)判別性的“好

6、”特征;在線組間特征選擇直接采用稀疏的線性回歸模型Lasso，從不同特征組中選擇最優(yōu)的特征子集。在圖像分類，人臉驗(yàn)證等實(shí)際應(yīng)用中的實(shí)驗(yàn)，驗(yàn)證了OGFS算法優(yōu)于已有的在線特征選擇算法;
　　2)針對在線環(huán)境下，觀測到的數(shù)據(jù)通常具有復(fù)雜多變的結(jié)構(gòu)，在很多計算機(jī)視覺等應(yīng)用中，真實(shí)數(shù)據(jù)通?？捎傻椭冉Y(jié)構(gòu)表示，噪音等其他部分可由稀疏結(jié)構(gòu)表示的特點(diǎn)，本文研究了主成分分析問題，提出了一種Schatten-p范數(shù)和lq范數(shù)聯(lián)合約束的主成分分析模型，

7、p，q-主成分分析模型，具有廣泛的實(shí)際應(yīng)用場景，如視頻監(jiān)控中的背景（低秩結(jié)構(gòu)）和移動目標(biāo)（稀疏結(jié)構(gòu)），人像圖片中的人臉（低秩結(jié)構(gòu)）和陰影（稀疏結(jié)構(gòu)）。解決此問題的常用方法為魯棒主成分分析法（RPCA），即用核范數(shù)對秩函數(shù)進(jìn)行估計，用l1范數(shù)對l0范數(shù)進(jìn)行估計，但是并不能保證得到真正低秩和稀疏的編碼表示。因此，本文為了更好的解決此問題，提出用Schatten-p范數(shù)約束估計秩函數(shù)，用lq范數(shù)估計l0范數(shù)。由于此目標(biāo)函數(shù)非凸，為了解決此問題

8、，本文提出了一種最近迭代加權(quán)算法(Proximal IterativelyReweighted Algorithm，PIRA)，將低秩矩陣和稀疏矩陣的求解轉(zhuǎn)化為兩個子問題，迭代交互求解。在每次迭代過程中，目標(biāo)子問題都擁有閉式解，因此，此算法具有高效性，并能滿足在線環(huán)境下的實(shí)時性要求。同時，實(shí)驗(yàn)驗(yàn)證了目標(biāo)函數(shù)值隨迭代次數(shù)逐漸收斂;相比較于常用的核范數(shù)和e1范數(shù)約束，更能逼近原始主成分問題的解。在實(shí)際應(yīng)用場景，如圖像去噪，物體識別，人臉陰影

9、/光斑去除，驗(yàn)證了此模型的優(yōu)越性，以及算法的有效性。
　　3)針對在線環(huán)境下，在線數(shù)據(jù)具有不穩(wěn)定性，增加了分類任務(wù)的難度，本文研究了提出了一種自適應(yīng)的稀疏編碼模型，并基于此模型構(gòu)建分類器(AdaptiveSparse Representation based Classifier)。稀疏編碼模型采用對編碼系數(shù)進(jìn)行l(wèi)1范數(shù)的稀疏性約束，有利于獲取極具判別性的編碼表示。但是，當(dāng)字典中訓(xùn)練樣本相關(guān)性較強(qiáng)，即不同目標(biāo)的樣本差異性較小時，稀

10、疏編碼會導(dǎo)致不穩(wěn)定的結(jié)果，從而影響分類等數(shù)據(jù)挖掘任務(wù)的效果。此時，基于l2范數(shù)約束的協(xié)作編碼模型，考慮了樣本關(guān)聯(lián)性，更具優(yōu)勢。因此，本文同時考慮了字典樣本間的相關(guān)性和編碼系數(shù)的判別性，提出一種自適應(yīng)的編碼模型，即當(dāng)訓(xùn)練樣本相對獨(dú)立，自適應(yīng)稀疏編碼模型的效果類似于稀疏編碼模型;當(dāng)訓(xùn)練樣本具有強(qiáng)關(guān)聯(lián)性，自適應(yīng)稀疏表示模型類似于協(xié)作編碼。一般情況下，自適應(yīng)編碼系數(shù)的稀疏性介于稀疏編碼和協(xié)作編碼之間。基于此編碼模型，本文提出了一種基于自適應(yīng)稀疏