半監(jiān)督協(xié)同訓練算法的研究.pdf

1、傳統(tǒng)的監(jiān)督學習往往需要大量的帶類別標簽(Label)的樣本對分類器進行訓練。然而,在實際應(yīng)用中,有標記樣本(Labeled data)的獲取較困難,無標記樣本(Unlabeled data)的獲取卻很容易。因此,如何將大量無標記數(shù)據(jù)利用起來,提高分類器性能的半監(jiān)督學習成為研究熱點。在半監(jiān)督學習領(lǐng)域研究的眾多分支中,協(xié)同訓練算法擁有易理解、穩(wěn)定、收斂快等特點,引起了眾多學者的廣泛關(guān)注,取得了很多研究成果。隨著其理論模型的不斷完善,基于協(xié)同

2、訓練算法的應(yīng)用也逐漸滲透到很多領(lǐng)域,如自然語言處理,圖像檢索以及模式識別等領(lǐng)域。本文首先對半監(jiān)督協(xié)同訓練算法的國內(nèi)外研究現(xiàn)狀進行了介紹,然后,對協(xié)同訓練算法的發(fā)展過程及算法存在的主要問題進行了分析,最后詳細介紹了本文在半監(jiān)督協(xié)同訓練算法領(lǐng)域開展的工作。本研究主要內(nèi)容包括：
　　 ⑴針對協(xié)同訓練算法中分類器差異性小的問題,提出了Tri-training框架下的多視圖半監(jiān)督神經(jīng)網(wǎng)絡(luò)算法,算法通過神經(jīng)網(wǎng)絡(luò)激勵函數(shù)的多樣性來擴展參與協(xié)同

3、訓練的神經(jīng)網(wǎng)絡(luò)之間的獨立性,在一定程度上解決了協(xié)同訓練算法中分類器差異性小,算法在性能提升上受到限制的問題,同時提高了神經(jīng)網(wǎng)絡(luò)的分類精度,也改善了協(xié)同訓練算法的性能。
　　 ⑵由于無標記數(shù)據(jù)引入容易產(chǎn)生噪音,從而降低算法性能,本文提出了基于遺傳算法的無標記數(shù)據(jù)選擇半監(jiān)督協(xié)同訓練算法,算法利用遺傳算法的尋優(yōu)功能間接的協(xié)助協(xié)同訓練算法挑選有價值的無標記數(shù)據(jù),以正確有效更新參與協(xié)同訓練的分類器,防止有噪聲的無標記數(shù)據(jù)引入,從而導致算法

4、性能降低。
　　 ⑶為進一步有效選擇無標記數(shù)據(jù),減少分類誤差,提出了基于圖的顯式置信度估計半監(jiān)督協(xié)同訓練算法,算法結(jié)合了基于圖的半監(jiān)督學習算法和半監(jiān)督協(xié)同訓練算法的優(yōu)點。利用有標記樣本和無標記樣本自身的結(jié)構(gòu)信息,顯式計算無標記樣本屬于各類別的概率,結(jié)合三個分類器協(xié)同訓練隱式地對無標記樣本的置信度進行比較。通過顯式和隱式雙重置信度估計方法,提高對無標記數(shù)據(jù)選擇的標準,防止噪聲數(shù)據(jù)的引入。在UCI數(shù)據(jù)集的實驗驗證了以上的方法的有效性