降維算法及其在人臉檢測中應(yīng)用的研究.pdf

1、降維算法是機(jī)器學(xué)習(xí)領(lǐng)域極其重要的研究內(nèi)容，它決定著整個(gè)機(jī)器學(xué)習(xí)框架中最重要的環(huán)節(jié)之一——樣本的特征表示的好壞。一個(gè)好的特征表示，能夠大幅提高模型的運(yùn)行效率，降低存儲(chǔ)開銷，提升算法的學(xué)習(xí)性能，降低算法對于參數(shù)的敏感度以及增加數(shù)據(jù)的可解釋性。而隨著大數(shù)據(jù)時(shí)代的來臨，海量數(shù)據(jù)被不斷積累，特征的維度飛速升高，此類算法的重要程度也與日俱增，同時(shí)要求也越來越高。其中，因?yàn)閿?shù)據(jù)總量的不斷膨脹，樣本標(biāo)定所需成本不斷提升，無監(jiān)督降維算法需求強(qiáng)勁。另外，隨

2、著數(shù)據(jù)規(guī)模的不斷擴(kuò)大，許多傳統(tǒng)的降維算法受到運(yùn)算和存儲(chǔ)開銷的影響，在新環(huán)境下的適用性受到了極大的挑戰(zhàn)。本文為了解決以上兩方面的問題，分別提出了一套無監(jiān)督特征選擇框架以及有監(jiān)督的特征變換框架。此外，本文還將降維算法應(yīng)用到人臉檢測當(dāng)中，實(shí)現(xiàn)了算法的一種實(shí)踐應(yīng)用。具體工作可以概括為以下三個(gè)方面：
　　(1)提出了一套名為基于譜聚類的全局與局部結(jié)構(gòu)保存的無監(jiān)督特征選擇框架基于同時(shí)保存數(shù)據(jù)的全局相似度信息以及局部幾何結(jié)構(gòu)這一理念，我們提出了

3、一套無監(jiān)督的特征選擇框架。其中，全局信息的保存通過引入譜聚類算法，自動(dòng)的抽取數(shù)據(jù)中的聚類信息實(shí)現(xiàn)；而局部幾何結(jié)構(gòu)則通過流形學(xué)習(xí)算法得以保存。為了求解包含上述信息的優(yōu)化問題，我們提出了一種收斂的迭代式優(yōu)化算法。因?yàn)槟繕?biāo)函數(shù)中數(shù)據(jù)局部幾何結(jié)構(gòu)的保存可以根據(jù)數(shù)據(jù)需求采用不同的流形學(xué)習(xí)算法，本文所提框架具有很強(qiáng)的靈活性和適應(yīng)能力。大量實(shí)驗(yàn)驗(yàn)證了本文提出的兩種實(shí)例化算法的有效性。
　　(2)提出了一種基于選擇的隨機(jī)傅里葉有監(jiān)督特征變換算法與

4、傳統(tǒng)特征變換算法數(shù)據(jù)驅(qū)動(dòng)的本質(zhì)維生成方法不同，該算法通過隨機(jī)傅里葉映射快速的生成較大數(shù)目的待選本征維度，再利用特征選擇的方法剔除掉隨機(jī)特征中冗余和無關(guān)的部分，從而達(dá)到特征變換的目的。與以往的特征降維算法相比，該算法能夠以更快的速度以及更小的運(yùn)算開銷保存原始數(shù)據(jù)信息并降低數(shù)據(jù)維度；同時(shí)，由于采用了隨機(jī)傅里葉映射這一高斯核的線性近似作為新特征的生成方式，新樣本空間中的內(nèi)積具有同高斯核空間中內(nèi)積近似的性質(zhì)，從而大大提高了原始數(shù)據(jù)的線性可分性；

5、此外，該算法創(chuàng)新性地提出用特征選擇算法進(jìn)行特征變換的思路，在兩種原本獨(dú)立研究、互不相關(guān)的降維算法之間構(gòu)建了一座橋梁，使得所有的特征選擇算法，不論是有監(jiān)督還是無監(jiān)督算法，都可以根據(jù)該思路用于進(jìn)行特征變換。經(jīng)過在30個(gè)標(biāo)準(zhǔn)數(shù)據(jù)庫上的實(shí)驗(yàn)驗(yàn)證，本文算法不論在運(yùn)算時(shí)間還是分類、回歸的準(zhǔn)確度上都展現(xiàn)出了優(yōu)于傳統(tǒng)特征變換算法的表現(xiàn)。
　　(3)提出了一種改進(jìn)的級聯(lián)人臉檢測算法該算法以本文中提出的多塊局部梯度模式為特征表示，結(jié)合Adaboost