基于流形的半監(jiān)督分類方法研究.pdf

1、半監(jiān)督學(xué)習(xí)，特別是關(guān)于數(shù)據(jù)聚類的半監(jiān)督學(xué)習(xí)方法，是機(jī)器學(xué)習(xí)領(lǐng)域近年來廣受關(guān)注的研究方向。非線性流形降維和再生核空間是兩個(gè)非常重要的研究內(nèi)容。本文重點(diǎn)研究用于數(shù)據(jù)聚類的非線性降維方法和基于部分的屬類異同信息下的核(kernel)學(xué)習(xí)方法，及其導(dǎo)出的聚類算法。我們的主要成果分成兩部分：基于屬類概率的數(shù)據(jù)降維和基于點(diǎn)對屬類異同概率的kernel學(xué)習(xí)。這兩部分互相關(guān)聯(lián)，核學(xué)習(xí)方法也可用于數(shù)據(jù)降維。
　　 一、關(guān)于數(shù)據(jù)聚類的非線性降維方法

2、。
　　 1．我們提出了基于屬類概率預(yù)估的非線性降維方法PLLE。其主要特點(diǎn)是將屬類概率向量用于距離函數(shù)的構(gòu)造。這個(gè)距離函數(shù)，不同于通常的歐幾里得距離或流形測地距離，它既保持了歐幾里得距離的部分特性，也具有元素屬類的特性。與原先提出的只適用于部分訓(xùn)練點(diǎn)集的方式相比，這一距離函數(shù)適用于整個(gè)訓(xùn)練集和測試集，因而具有整體性。PLLE結(jié)合了經(jīng)典的(用于無監(jiān)督問題的)非線性降維方法LLE的思想，更具有半監(jiān)督分類的特點(diǎn)。它克服了一般流形學(xué)習(xí)

3、算法在處理監(jiān)督信息上的缺憾。
　　 2．PLLE算法的關(guān)鍵部分是屬類概率向量的估計(jì)。我們進(jìn)一步提出了預(yù)估屬類概率向量的PE算法。它基于經(jīng)典的邏輯回歸(LD)思想。數(shù)值實(shí)驗(yàn)證明，PLLE與PE結(jié)合后得到的PLLEc算法是一個(gè)性能卓越的有監(jiān)督分類算法。
　　 3．我們將屬類概率預(yù)估的思想用于拉普拉斯特征映射(LE)方法，進(jìn)行數(shù)據(jù)降維，提出了具有屬類信息的半監(jiān)督降維的PLE算法，這可用于數(shù)據(jù)聚類。PLE算法中所需的屬類概率預(yù)估

4、，可以采用前述的PE方法得到，也可以用我們提出的基于kernel學(xué)習(xí)的方法估計(jì)。
　　 二、基于部分屬類異同信息的核(kernel)學(xué)習(xí)。
　　 1．對于具有部分屬類異同信息的數(shù)據(jù)，現(xiàn)有許多算法是通過尋找最佳線性投影來完成降維任務(wù)的，這類方法的效果對于數(shù)據(jù)的分布非常敏感。針對這一問題，我們給出了一種創(chuàng)新性的分類可靠性函數(shù)以及概率向量的確定方式。它基于由點(diǎn)對約束傳播(PCP)方法得到的kernel矩陣。我們將其用于PLE方

5、法，提出了稱為PCP—PLE的分類算法，及其改進(jìn)了的結(jié)合維數(shù)類別數(shù)因素的．PCP—PLE*降維方法。這些算法由于包含了具有分類效果的隱式映射，因此，對于任何形式的數(shù)據(jù)分布均可有效完成保持屬類異同信息的降維工作，實(shí)驗(yàn)表明，PCP—PLE*要優(yōu)于一些最新的基于同樣背景的算法。
　　 2．點(diǎn)對約束傳播的kernel學(xué)習(xí)算法PCP在應(yīng)用中具有一定的局限性。我們詳細(xì)研究了其特點(diǎn)，發(fā)現(xiàn)用由PCP得到的核矩陣作核形式的K—means聚類時(shí)，所

6、得分類的規(guī)范共信度值并不隨著已知的屬類相同信息量的增加而改善。PCP更依賴于已知屬類異同點(diǎn)對的分布。根據(jù)PCP的弱點(diǎn)，提出了一種具有點(diǎn)對之間屬類異同的概率約束傳播的kernel學(xué)習(xí)算法PPCP。在很多情形下，PPCP可能比PCP更加有效。更為重要的是：基于我們提出的屬類異同可靠性估計(jì)方法，PPCP可以用于無任何先驗(yàn)的點(diǎn)對屬類異同信息。因而可作為一種無監(jiān)督的聚類算法，這更有利于實(shí)際應(yīng)用。
　　 3．在可靠性函數(shù)的基礎(chǔ)上，我們提出了

7、一種主動(dòng)的kernel學(xué)習(xí)算法：active—PCP和active—PPCP。該算法能夠自適應(yīng)地搜索對分類起消極作用的點(diǎn)對，并對其進(jìn)行去除或者松弛約束的處理，進(jìn)而提升分類效果。此外，我們最新研究的有關(guān)自動(dòng)擴(kuò)張約束集合以改進(jìn)分類的工作也在文中進(jìn)行了介紹和討論。
　　 全文由六章組成。第一章為讀者闡述了本文課題的研究背景、發(fā)展現(xiàn)狀以及文章的主要科研成果。第二章簡介流形學(xué)習(xí)和核方法領(lǐng)域的經(jīng)典工作。第三章主要描述了PLLE，PE，PLL