稀疏優(yōu)化在機(jī)器學(xué)習(xí)中的若干應(yīng)用.pdf

1、近年來,利用解的稀疏性和其他內(nèi)在結(jié)構(gòu)成為眾多計(jì)算和工程領(lǐng)域中共同關(guān)注的問題.稀疏的內(nèi)含不僅是指“只有很少的非零分量”，它蘊(yùn)含著“具有一種簡單結(jié)構(gòu)”.本文對機(jī)器學(xué)習(xí)中不同問題的稀疏結(jié)構(gòu)進(jìn)行建模，并在必要時(shí)改進(jìn)經(jīng)典的稀疏優(yōu)化算法進(jìn)行求解.論文的主要工作可概括如下:
　　1.第2章給出了本文在解決不同的機(jī)器學(xué)習(xí)問題中所提出的稀疏優(yōu)化模型及算法.所提出的稀疏優(yōu)化模型有同樣的抽象結(jié)構(gòu)，即在一個(gè)具有某種簡單或特定結(jié)構(gòu)的假設(shè)空間上極小化某個(gè)損失

2、泛函.本文中給出的盒子約束的Lasso模型及塊PCA模型均具有這一結(jié)構(gòu).該章給出了求解盒子約束的Lasso模型的同倫算法及求解塊PCA模型的Splitting算法.
　　2.第3章研究了求解盒子約束的Lasso模型的同倫算法的收斂性并檢驗(yàn)了該算法的數(shù)值性能.該章的工作指出同倫算法收斂性不是顯然成立.在無退化指標(biāo)假設(shè)和其它較弱的條件下，該章證明了同倫算法具有有限終止性.另外，該章討論了退化和循環(huán)的問題.當(dāng)前已有眾多算法可求解該模型，

3、但數(shù)值實(shí)驗(yàn)證明同倫算法具有特別的優(yōu)勢:適于最優(yōu)解非常稀疏的問題及需要計(jì)算整條正則化路徑的情形.這是第4章協(xié)同過濾數(shù)據(jù)可預(yù)測性問題的計(jì)算中所采用的關(guān)鍵技術(shù).
　　3.第4章研究了協(xié)同過濾問題中評分?jǐn)?shù)據(jù)的可預(yù)測性問題.當(dāng)前協(xié)同過濾方面的大部分工作主要研究算法性能的改進(jìn).該章指出，受評分?jǐn)?shù)據(jù)自身的限制，評分矩陣中有一部分未知評分是難于給出準(zhǔn)確預(yù)測的.第4章提出了一個(gè)新的度量——相關(guān)性，以度量用戶在某個(gè)商品上的評分能被準(zhǔn)確預(yù)測的可能性.一

4、個(gè)用戶一商品對的相關(guān)性由相關(guān)的用戶和商品構(gòu)成的社區(qū)所確定.作為相關(guān)性度量的應(yīng)用，提出了基于數(shù)據(jù)的組合方法(DOC)以應(yīng)用于推薦系統(tǒng).
　　4.第5章研究從時(shí)間序列基因表達(dá)數(shù)據(jù)中推斷基因正則化網(wǎng)絡(luò)（GRN）.由于計(jì)算復(fù)雜度較大，大部分GRN重建方法僅限于推斷較低連通性的單個(gè)網(wǎng)絡(luò).該章提出了網(wǎng)絡(luò)和社區(qū)識(shí)別方法，結(jié)合社區(qū)結(jié)構(gòu)信息，從基因表達(dá)數(shù)據(jù)中推斷多個(gè)子網(wǎng)絡(luò).其中的塊PCA模型，通過第2章給出的Splitting算法，可有效求解網(wǎng)絡(luò)中

5、的社區(qū)結(jié)構(gòu).
　　5.第6章研究了作為蛋白質(zhì)鑒別關(guān)鍵步驟的肽段識(shí)別問題.序列數(shù)據(jù)庫搜索是當(dāng)前肽段識(shí)別的主流方法.但搜索引擎給出的大量的匹配是不正確的.現(xiàn)有方法大多基于半監(jiān)督或監(jiān)督學(xué)習(xí)框架，充分利用了誘騙PSM的樣本及標(biāo)簽信息，但目標(biāo)PSM樣本點(diǎn)自身信息沒有被充分利用.該章提出了一個(gè)稱為FC-Ranker的新的評分方法，給每個(gè)目標(biāo)PSM賦予一個(gè)非負(fù)權(quán)重，反映其匹配正確的可能性.特別地，F(xiàn)C-Ranker通過模糊支持向量機(jī)分類模型和所