基于樣本去噪的協(xié)同訓(xùn)練算法研究.pdf

1、半監(jiān)督學(xué)習(xí)(Semi-Supervised Learning)利用少量昂貴的標(biāo)記樣本和大量廉價(jià)的未標(biāo)記樣本構(gòu)建并強(qiáng)化分類器，它是一種非常重要的機(jī)器學(xué)習(xí)方法。近年來，半監(jiān)督學(xué)習(xí)逐漸成為機(jī)器學(xué)習(xí)的一個(gè)研究熱點(diǎn)。
　　在眾多半監(jiān)督學(xué)習(xí)方法中，協(xié)同訓(xùn)練(Collaborative Training)是一種取得較多研究成果的半監(jiān)督學(xué)習(xí)范式。協(xié)同訓(xùn)練算法在訓(xùn)練樣本的初始已標(biāo)記樣本集上，訓(xùn)練出至少兩個(gè)分類器，然后，輪流地選定它們其中的一個(gè)為主分

2、類器，其余的為輔助分類器，輔助分類器對未標(biāo)記樣本進(jìn)行預(yù)測，并把它們預(yù)測置信度較高的樣本標(biāo)記提供給主分類器，主分類器在更新的有標(biāo)記樣本的基礎(chǔ)上重新訓(xùn)練。協(xié)同訓(xùn)練算法由于能夠綜合利用同類樣本的多個(gè)視圖和多個(gè)分類器上的預(yù)測結(jié)果，通常能夠獲得較傳統(tǒng)監(jiān)督式算法更高的精度。然而，在多數(shù)協(xié)同訓(xùn)練算法中，尤其在算法初始階段，由于有標(biāo)記樣本較少，在此基礎(chǔ)上訓(xùn)練出的基礎(chǔ)分類器初始分類精度通常比較低，對未標(biāo)記樣本進(jìn)行預(yù)測時(shí)容易產(chǎn)生錯誤標(biāo)記，為后續(xù)協(xié)同訓(xùn)練過程

3、引入噪聲數(shù)據(jù)，進(jìn)而影響協(xié)同訓(xùn)練算法的精度。
　　針對協(xié)同訓(xùn)練算法目前存在的問題，本文借助樣本分布信息和主動學(xué)習(xí)中的樣本選擇策略，定義了樣本標(biāo)記不確定性、樣本代表性等度量方法并把它們引入到協(xié)同訓(xùn)練算法中，進(jìn)一步提高協(xié)同訓(xùn)練算法的效率和精度。論文主要工作包含如下2個(gè)方面:
　　(1)提出了一種基于樣本代表性的協(xié)同訓(xùn)練算法——EnCoTrain。為了減少協(xié)同訓(xùn)練算法噪聲數(shù)據(jù)的引入，本文根據(jù)樣本分布信息，定義了一種樣本代表性度量，基

4、于此度量提出一種具有噪聲過濾功能的協(xié)同訓(xùn)練算法。具體來講，在協(xié)同訓(xùn)練算法的每次迭代過程中，計(jì)算輔助分類器標(biāo)記一致的未標(biāo)記樣本的樣本代表性，將代表性最高的若干樣本的標(biāo)記提供給主分類器，在此基礎(chǔ)上更新主分類器。為了驗(yàn)證本算法的性能，我們將EnCoTrain分別與標(biāo)準(zhǔn)協(xié)同訓(xùn)練算法Co-Training、Tri-Training、Co-Forest等進(jìn)行對比。在UCI數(shù)據(jù)集上的實(shí)驗(yàn)證明，該算法對多種協(xié)同訓(xùn)練算法的精度均有一定的提升作用。

5、　　(2)進(jìn)一步提出了一種基于樣本信息量和代表性的增強(qiáng)協(xié)同訓(xùn)練算法Boost-CoTrain。本文借助主動學(xué)習(xí)中的樣本選擇方法，基于樣本信息量和樣本代表性，定義了一種能有效衡量未標(biāo)記樣本標(biāo)記不確定性的度量函數(shù)，并將該度量函數(shù)用于傳統(tǒng)協(xié)同訓(xùn)練算法。具體地，在協(xié)同訓(xùn)練的每次迭代過程中，將標(biāo)記最不確定的若干未標(biāo)記樣本交由輔助分類器標(biāo)注，并將標(biāo)記后的樣本用于主分類器的強(qiáng)化訓(xùn)練。在實(shí)驗(yàn)中，我們將Boost-CoTrain與標(biāo)準(zhǔn)協(xié)同訓(xùn)練算法Co-T