多視圖的半監(jiān)督學(xué)習(xí)研究.pdf

1、學(xué)習(xí)是人類具有的一種重要智能行為,模仿人類的學(xué)習(xí)過程是機(jī)器學(xué)習(xí)的主要目標(biāo)。機(jī)器學(xué)習(xí)根據(jù)生理學(xué)、認(rèn)知科學(xué)等對(duì)人類學(xué)習(xí)機(jī)理的研究成果,建立人類學(xué)習(xí)過程的計(jì)算模型,研究通用的學(xué)習(xí)算法,是人工智能和神經(jīng)計(jì)算的核心研究?jī)?nèi)容之一。
　　 基于數(shù)據(jù)的機(jī)器學(xué)習(xí)從觀測(cè)數(shù)據(jù)中構(gòu)建模型,以對(duì)無法觀測(cè)的數(shù)據(jù)或未見數(shù)據(jù)進(jìn)行預(yù)測(cè)。隨著信息時(shí)代的到來,數(shù)據(jù)大量存在,但獲取數(shù)據(jù)的標(biāo)記需要耗費(fèi)人力物力。這里的“標(biāo)記”是指數(shù)據(jù)所對(duì)應(yīng)的輸出,如在分類問題中標(biāo)記就是數(shù)

2、據(jù)的類別。傳統(tǒng)的監(jiān)督學(xué)習(xí)方法從有標(biāo)記的數(shù)據(jù)中構(gòu)建模型,當(dāng)有標(biāo)記的數(shù)據(jù)較少時(shí)所訓(xùn)練出的學(xué)習(xí)系統(tǒng)很難具有好的性能。半監(jiān)督學(xué)習(xí)研究當(dāng)有標(biāo)記的數(shù)據(jù)較少時(shí)如何利用大量的未標(biāo)記數(shù)據(jù)來改善學(xué)習(xí)性能,具有廣泛的應(yīng)用領(lǐng)域,是當(dāng)前機(jī)器學(xué)習(xí)研究的熱點(diǎn)問題之一。
　　 在機(jī)器學(xué)習(xí)的許多實(shí)際問題中數(shù)據(jù)有多個(gè)視圖,如何綜合利用數(shù)據(jù)的多個(gè)視圖進(jìn)行學(xué)習(xí)是具有挑戰(zhàn)性的研究?jī)?nèi)容。本文研究多視圖的半監(jiān)督學(xué)習(xí),對(duì)多視圖半監(jiān)督學(xué)習(xí)中的學(xué)習(xí)理論、學(xué)習(xí)算法、以及多視圖的構(gòu)造

3、等關(guān)鍵問題進(jìn)行了深入的研究,取得了一定的研究成果,并經(jīng)過充分的實(shí)驗(yàn)驗(yàn)證,為進(jìn)一步的研究和應(yīng)用奠定了基礎(chǔ)。
　　 本文創(chuàng)造性的研究成果主要有:
　　 1.提出一種多視圖半監(jiān)督學(xué)習(xí)中的正則化方法。從有限樣本中學(xué)習(xí)往往是病態(tài)逆問題,解決的辦法是對(duì)學(xué)習(xí)過程加以限制,這個(gè)過程稱為正則化。針對(duì)多視圖的半監(jiān)督學(xué)習(xí),利用假設(shè)空間的度量結(jié)構(gòu),定義學(xué)習(xí)函數(shù)的光滑性和一致性。在每個(gè)視圖內(nèi)的學(xué)習(xí)過程中限制函數(shù)的光滑性,在多個(gè)視圖的協(xié)同學(xué)習(xí)過程中

4、限制函數(shù)的一致性。提出一種兩個(gè)層次的正則化算法,同時(shí)使用函數(shù)的光滑性和一致性進(jìn)行正則化,并對(duì)算法預(yù)測(cè)誤差進(jìn)行理論分析。實(shí)驗(yàn)表明,該算法較僅使用光滑性或僅使用一致性的正則化方法在預(yù)測(cè)性能上有顯著提高。
　　 2.提出一種基于圖的多視圖半監(jiān)督學(xué)習(xí)方法。分析圖表示法的適用性,使用多個(gè)圖結(jié)構(gòu)表示多視圖數(shù)據(jù),將基于圖的半監(jiān)督學(xué)習(xí)擴(kuò)展到數(shù)據(jù)有多個(gè)視圖的情況。提出一種多個(gè)圖的半監(jiān)督學(xué)習(xí)算法,在每個(gè)圖上進(jìn)行半監(jiān)督學(xué)習(xí),并在多個(gè)圖上協(xié)同學(xué)習(xí),從而

5、同時(shí)優(yōu)化多個(gè)圖上的學(xué)習(xí)器。從概率角度分析多個(gè)圖上的學(xué)習(xí)過程。實(shí)驗(yàn)表明,該算法較單個(gè)圖上的半監(jiān)督學(xué)習(xí)算法有更高的分類精度。
　　 3.提出一種隨機(jī)子空間中的多視圖構(gòu)造及學(xué)習(xí)方法。在數(shù)據(jù)的特征空間中取隨機(jī)子空間,將數(shù)據(jù)映射到多個(gè)隨機(jī)子空間中,以構(gòu)造數(shù)據(jù)的多個(gè)視圖。提出一種隨機(jī)子空間中的多視圖半監(jiān)督學(xué)習(xí)算法,將每個(gè)視圖上的學(xué)習(xí)器預(yù)測(cè)置信度最高的未標(biāo)記數(shù)據(jù)用于訓(xùn)練其它視圖上的學(xué)習(xí)器,從而使各個(gè)視圖上的學(xué)習(xí)器協(xié)同訓(xùn)練。使用隨機(jī)判別理論對(duì)算