基于最優(yōu)反預測的半監(jiān)督學習及其應用.pdf

1、半監(jiān)督學習是人工智能研究領域的一種有效方法，主要是用于解決在標簽樣本數(shù)量不足的情形下模型的訓練和分類（或識別）問題?，F(xiàn)實生活中受各種主觀或客觀條件的影響，標簽的樣本的數(shù)量在有些研究領域通常難以滿足傳統(tǒng)的有監(jiān)督學習的要求，由此導致有監(jiān)督學習模型難以得到充分的訓練，模型的性能也隨之受到影響。半監(jiān)督學習方法在標簽樣本有限的情況下，能夠通過將大量的無標簽的樣本融合到模型的訓練和參數(shù)的估計中，來獲得模型良好的分類（或識別）性能，所以說半監(jiān)督學習是

2、一種在訓練樣本不足情況下，解決模式識別和分類問題的有效方法。半監(jiān)督學習算法自提出之日起一直廣受模式識別和機器學習領域研究者的青睞，相關的研究工作一直在持續(xù)進行，新的研究成果也不斷被提出和發(fā)表。時至今日雖然半監(jiān)督的學習算法已經取得了很大的進步，然而距離實踐應用還有很長的一段路需要走。算法的分類或識別性能低下是制約半監(jiān)督學習方法能夠被廣泛應用于實踐的主要障礙。
　　本論文基于半監(jiān)督學習方法展開研究，提出了一種基于正交約束的最優(yōu)反預測方

3、法分別用于聚類和信息檢索的中。為了測試我們提出的半監(jiān)督學習方法的性能，本文基于網絡公開數(shù)據(jù)集分別設計了模式識別和圖像檢索的實驗進行測試，實驗結果證明本文提出的方法是有效的，能夠提高原有模型方法的性能。本文的主要的貢獻如下所示：
　　1.最優(yōu)反預測是近幾年提出的一種半監(jiān)督學習方法，由于算法的分類或識別性能較低，這種方法并沒有引起很多重視。本文在最優(yōu)反預測方法的基礎上對其進行了改進，提出了基于正交約束的最優(yōu)反預測方法，并給出了模型的求

4、解過程。本文提出的正交約束的最優(yōu)反預測方法是通過約束所有聚類的聚類中心兩兩之間是相互正交來得到的，由此由所有聚類中心構建的列向量矩陣可以分解成為一個旋轉矩陣和對角因子矩陣的乘積。通過優(yōu)化正交最優(yōu)反預測模型得到的最優(yōu)旋轉矩陣能夠對原始數(shù)據(jù)的維度信息進行相應的調整來最大化的降低重構誤差。為了測試算法的分類性能，我們基于多個網絡公開的數(shù)據(jù)集設計了相關的分類實驗進行算法性能的驗證，如人造數(shù)據(jù)集、人臉數(shù)據(jù)集、手寫數(shù)字字符集、語音數(shù)據(jù)集以及文本數(shù)據(jù)

5、集等等。實驗結果證明了本文提出的方法的優(yōu)越性。相比較于原始的最優(yōu)反預測方法，本文提出的正交約束的最優(yōu)反預測方法在一些公共的數(shù)據(jù)集上的分類準確率有30%的提高。唯一要注意的是，由于奇異值分解方法被應用于正交約束的最優(yōu)反預測模型的優(yōu)化過程中，使得本文提出的正交約束的最優(yōu)反預測方法的算法復雜度要稍微高于原始的最優(yōu)反預測方法。
　　2.在基于正交約束的最優(yōu)反預測算法的基礎上，本文還將最優(yōu)反預測算法推廣到了核空間中，提出了核化的正交最優(yōu)反預

6、測算法。針對提出的核化正交最優(yōu)反預測算法，我們還給出了對應的模型優(yōu)化方法。為了驗證本文方法的分類性能，我們基于人造數(shù)據(jù)集和一些公開的機器學習和模式識別數(shù)據(jù)集如人臉數(shù)據(jù)集、語音數(shù)據(jù)集、手寫數(shù)字數(shù)據(jù)集和文本數(shù)據(jù)集等設計了一系列的分類實驗并與傳統(tǒng)的分類方法以及最新提出的U-Adaboosts.MH半監(jiān)督學習算法進行分類性能的比較。實驗結果證明本文的優(yōu)化方法是可行且有效的。相比較于核化的最優(yōu)反預測算法，本文提出的核化正交最優(yōu)反預測方法在算法的性

7、能上也有了明顯的提升，雖然提升的幅度不如正交最優(yōu)反預測對于最優(yōu)反預測算法那么高。在與最新提出的U-Adaboosts.MH方法在文本分類實驗上實驗結果顯示本文提出的核化正交最優(yōu)反預測方法在4個分類實驗的3個實驗中的結果比U-Adaboosts.MH具有明顯的優(yōu)勢，而算法的穩(wěn)定性也要高于U-Adaboosts.MH。唯一的不足之處在于由于核化正交最優(yōu)反預測的優(yōu)化算法中涉包含了奇異值分解的操作，致使本文提出核化正交最優(yōu)反預測方法的算法復雜度

8、要高于原始的核化最優(yōu)反預測方法。設計出效率更高、性能更優(yōu)的優(yōu)化算法是我們今后核化正交反預測方法研究的一個重要方向。
　　3.在正交最優(yōu)反預測算法的基礎上，本文還提出了一種基于拉普拉斯正則項約束的拉普拉斯正交最優(yōu)反預測算法，并給出了模型的優(yōu)化算法。相比較于正交約束最優(yōu)反預測與核化的正交約束最優(yōu)反預測，由于拉普拉斯正交最優(yōu)反預測方法的優(yōu)化涉及到離散優(yōu)化的問題，本文提出模型優(yōu)化算法沒能得到一個最優(yōu)值，算法的性能沒有更多的體現(xiàn)出拉普拉斯正

9、則項在模型中的優(yōu)勢。實驗結果顯示拉普拉斯正交約束的最優(yōu)反預測算法的性能要略遜于正交約束的最優(yōu)反預測算法，即便如此，基于拉普拉斯約束的正交最優(yōu)反預測算法仍然是我們將來研究半監(jiān)督學習的一個方向，針對這個模型的優(yōu)化算法的研究是我們今后科研工作的重點。
　　4.在本文中我們還將基于正交約束的最優(yōu)反預測的理念應用到了笛卡爾K均值算法上，提出了半監(jiān)督笛卡爾K均值的量化方法。在半監(jiān)督的笛卡爾K均值算法中，正交約束的假設被施加到聚類中心矩陣的列向

10、量中，對量化目標函數(shù)施加了基于有監(jiān)督方法構建的拉普拉斯矩陣正則項，以便于將有監(jiān)督信息隱含的傳遞給模型來提高模型的性能。由于模型的優(yōu)化過程中存在著離散優(yōu)化的問題，導致本文提出的的半監(jiān)督笛卡爾K均值算法沒有表現(xiàn)出比較明顯的優(yōu)勢，但是從整體上說性能比無監(jiān)督的笛卡爾K均值要好一些。找到最優(yōu)的模型優(yōu)化算法也是我們今后研究工作的重點。
　　5.在最優(yōu)反預測的基礎上，我們把稀疏重表示方法納入到了最優(yōu)反預測方法的框架下，并將其應用于基于EEG數(shù)據(jù)