多視圖的半監(jiān)督學(xué)習(xí)研究.pdf

1、學(xué)習(xí)是人類具有的一種重要智能行為,模仿人類的學(xué)習(xí)過程是機器學(xué)習(xí)的主要目標(biāo)。機器學(xué)習(xí)根據(jù)生理學(xué)、認知科學(xué)等對人類學(xué)習(xí)機理的研究成果,建立人類學(xué)習(xí)過程的計算模型,研究通用的學(xué)習(xí)算法,是人工智能和神經(jīng)計算的核心研究內(nèi)容之一。
　　 基于數(shù)據(jù)的機器學(xué)習(xí)從觀測數(shù)據(jù)中構(gòu)建模型,以對無法觀測的數(shù)據(jù)或未見數(shù)據(jù)進行預(yù)測。隨著信息時代的到來,數(shù)據(jù)大量存在,但獲取數(shù)據(jù)的標(biāo)記需要耗費人力物力。這里的“標(biāo)記”是指數(shù)據(jù)所對應(yīng)的輸出,如在分類問題中標(biāo)記就是數(shù)

2、據(jù)的類別。傳統(tǒng)的監(jiān)督學(xué)習(xí)方法從有標(biāo)記的數(shù)據(jù)中構(gòu)建模型,當(dāng)有標(biāo)記的數(shù)據(jù)較少時所訓(xùn)練出的學(xué)習(xí)系統(tǒng)很難具有好的性能。半監(jiān)督學(xué)習(xí)研究當(dāng)有標(biāo)記的數(shù)據(jù)較少時如何利用大量的未標(biāo)記數(shù)據(jù)來改善學(xué)習(xí)性能,具有廣泛的應(yīng)用領(lǐng)域,是當(dāng)前機器學(xué)習(xí)研究的熱點問題之一。
　　 在機器學(xué)習(xí)的許多實際問題中數(shù)據(jù)有多個視圖,如何綜合利用數(shù)據(jù)的多個視圖進行學(xué)習(xí)是具有挑戰(zhàn)性的研究內(nèi)容。本文研究多視圖的半監(jiān)督學(xué)習(xí),對多視圖半監(jiān)督學(xué)習(xí)中的學(xué)習(xí)理論、學(xué)習(xí)算法、以及多視圖的構(gòu)造

3、等關(guān)鍵問題進行了深入的研究,取得了一定的研究成果,并經(jīng)過充分的實驗驗證,為進一步的研究和應(yīng)用奠定了基礎(chǔ)。
　　 本文創(chuàng)造性的研究成果主要有:
　　 1.提出一種多視圖半監(jiān)督學(xué)習(xí)中的正則化方法。從有限樣本中學(xué)習(xí)往往是病態(tài)逆問題,解決的辦法是對學(xué)習(xí)過程加以限制,這個過程稱為正則化。針對多視圖的半監(jiān)督學(xué)習(xí),利用假設(shè)空間的度量結(jié)構(gòu),定義學(xué)習(xí)函數(shù)的光滑性和一致性。在每個視圖內(nèi)的學(xué)習(xí)過程中限制函數(shù)的光滑性,在多個視圖的協(xié)同學(xué)習(xí)過程中

4、限制函數(shù)的一致性。提出一種兩個層次的正則化算法,同時使用函數(shù)的光滑性和一致性進行正則化,并對算法預(yù)測誤差進行理論分析。實驗表明,該算法較僅使用光滑性或僅使用一致性的正則化方法在預(yù)測性能上有顯著提高。
　　 2.提出一種基于圖的多視圖半監(jiān)督學(xué)習(xí)方法。分析圖表示法的適用性,使用多個圖結(jié)構(gòu)表示多視圖數(shù)據(jù),將基于圖的半監(jiān)督學(xué)習(xí)擴展到數(shù)據(jù)有多個視圖的情況。提出一種多個圖的半監(jiān)督學(xué)習(xí)算法,在每個圖上進行半監(jiān)督學(xué)習(xí),并在多個圖上協(xié)同學(xué)習(xí),從而

5、同時優(yōu)化多個圖上的學(xué)習(xí)器。從概率角度分析多個圖上的學(xué)習(xí)過程。實驗表明,該算法較單個圖上的半監(jiān)督學(xué)習(xí)算法有更高的分類精度。
　　 3.提出一種隨機子空間中的多視圖構(gòu)造及學(xué)習(xí)方法。在數(shù)據(jù)的特征空間中取隨機子空間,將數(shù)據(jù)映射到多個隨機子空間中,以構(gòu)造數(shù)據(jù)的多個視圖。提出一種隨機子空間中的多視圖半監(jiān)督學(xué)習(xí)算法,將每個視圖上的學(xué)習(xí)器預(yù)測置信度最高的未標(biāo)記數(shù)據(jù)用于訓(xùn)練其它視圖上的學(xué)習(xí)器,從而使各個視圖上的學(xué)習(xí)器協(xié)同訓(xùn)練。使用隨機判別理論對算