基于流形的半監(jiān)督分類方法研究.pdf

1、半監(jiān)督學習，特別是關于數(shù)據(jù)聚類的半監(jiān)督學習方法，是機器學習領域近年來廣受關注的研究方向。非線性流形降維和再生核空間是兩個非常重要的研究內容。本文重點研究用于數(shù)據(jù)聚類的非線性降維方法和基于部分的屬類異同信息下的核(kernel)學習方法，及其導出的聚類算法。我們的主要成果分成兩部分：基于屬類概率的數(shù)據(jù)降維和基于點對屬類異同概率的kernel學習。這兩部分互相關聯(lián)，核學習方法也可用于數(shù)據(jù)降維。
　　 一、關于數(shù)據(jù)聚類的非線性降維方法

2、。
　　 1．我們提出了基于屬類概率預估的非線性降維方法PLLE。其主要特點是將屬類概率向量用于距離函數(shù)的構造。這個距離函數(shù)，不同于通常的歐幾里得距離或流形測地距離，它既保持了歐幾里得距離的部分特性，也具有元素屬類的特性。與原先提出的只適用于部分訓練點集的方式相比，這一距離函數(shù)適用于整個訓練集和測試集，因而具有整體性。PLLE結合了經(jīng)典的(用于無監(jiān)督問題的)非線性降維方法LLE的思想，更具有半監(jiān)督分類的特點。它克服了一般流形學習

3、算法在處理監(jiān)督信息上的缺憾。
　　 2．PLLE算法的關鍵部分是屬類概率向量的估計。我們進一步提出了預估屬類概率向量的PE算法。它基于經(jīng)典的邏輯回歸(LD)思想。數(shù)值實驗證明，PLLE與PE結合后得到的PLLEc算法是一個性能卓越的有監(jiān)督分類算法。
　　 3．我們將屬類概率預估的思想用于拉普拉斯特征映射(LE)方法，進行數(shù)據(jù)降維，提出了具有屬類信息的半監(jiān)督降維的PLE算法，這可用于數(shù)據(jù)聚類。PLE算法中所需的屬類概率預估

4、，可以采用前述的PE方法得到，也可以用我們提出的基于kernel學習的方法估計。
　　 二、基于部分屬類異同信息的核(kernel)學習。
　　 1．對于具有部分屬類異同信息的數(shù)據(jù)，現(xiàn)有許多算法是通過尋找最佳線性投影來完成降維任務的，這類方法的效果對于數(shù)據(jù)的分布非常敏感。針對這一問題，我們給出了一種創(chuàng)新性的分類可靠性函數(shù)以及概率向量的確定方式。它基于由點對約束傳播(PCP)方法得到的kernel矩陣。我們將其用于PLE方

5、法，提出了稱為PCP—PLE的分類算法，及其改進了的結合維數(shù)類別數(shù)因素的．PCP—PLE*降維方法。這些算法由于包含了具有分類效果的隱式映射，因此，對于任何形式的數(shù)據(jù)分布均可有效完成保持屬類異同信息的降維工作，實驗表明，PCP—PLE*要優(yōu)于一些最新的基于同樣背景的算法。
　　 2．點對約束傳播的kernel學習算法PCP在應用中具有一定的局限性。我們詳細研究了其特點，發(fā)現(xiàn)用由PCP得到的核矩陣作核形式的K—means聚類時，所

6、得分類的規(guī)范共信度值并不隨著已知的屬類相同信息量的增加而改善。PCP更依賴于已知屬類異同點對的分布。根據(jù)PCP的弱點，提出了一種具有點對之間屬類異同的概率約束傳播的kernel學習算法PPCP。在很多情形下，PPCP可能比PCP更加有效。更為重要的是：基于我們提出的屬類異同可靠性估計方法，PPCP可以用于無任何先驗的點對屬類異同信息。因而可作為一種無監(jiān)督的聚類算法，這更有利于實際應用。
　　 3．在可靠性函數(shù)的基礎上，我們提出了

7、一種主動的kernel學習算法：active—PCP和active—PPCP。該算法能夠自適應地搜索對分類起消極作用的點對，并對其進行去除或者松弛約束的處理，進而提升分類效果。此外，我們最新研究的有關自動擴張約束集合以改進分類的工作也在文中進行了介紹和討論。
　　 全文由六章組成。第一章為讀者闡述了本文課題的研究背景、發(fā)展現(xiàn)狀以及文章的主要科研成果。第二章簡介流形學習和核方法領域的經(jīng)典工作。第三章主要描述了PLLE，PE，PLL