基于半監(jiān)督回歸的選擇性集成算法及其應(yīng)用研究.pdf

1、集成學(xué)習(xí)利用多個學(xué)習(xí)器來解決問題，可以有效提高學(xué)習(xí)系統(tǒng)的泛化能力，成為近年來機(jī)器學(xué)習(xí)領(lǐng)域一個重要的研究方向，并被國際權(quán)威T.G.Dietterich稱為當(dāng)前機(jī)器學(xué)習(xí)四大研究方向之首。作為一種新的機(jī)器學(xué)習(xí)范式，集成學(xué)習(xí)以其良好的性能和廣泛的適用性，在行星探測、地震波分析、Web信息過濾、生物特征識別、計算機(jī)輔助醫(yī)療診斷等眾多領(lǐng)域得到了廣泛的應(yīng)用。以往集成學(xué)習(xí)的研究主要集中在監(jiān)督學(xué)習(xí)上，這種學(xué)習(xí)方式需要大數(shù)據(jù)量的有標(biāo)記訓(xùn)練樣本。但是在某些實

2、際的訓(xùn)練過程中，大數(shù)據(jù)量的有標(biāo)記樣本往往難以獲得。而對于小數(shù)據(jù)量的有標(biāo)記訓(xùn)練樣本，集成學(xué)習(xí)的效果往往又不理想。因此，針對小數(shù)據(jù)量的有標(biāo)記樣本問題，如何提高集成學(xué)習(xí)的性能仍然是一個值得研究的問題。 針對訓(xùn)練過程中存在大量未標(biāo)記樣本的情況，本文結(jié)合半監(jiān)督學(xué)習(xí)和選擇性集成學(xué)習(xí)的思想，提出了一種基于半監(jiān)督回歸的選擇性集成算法SSRES。一方面，充分利用大量廉價的未標(biāo)記樣本來輔助有標(biāo)記樣本的學(xué)習(xí)，另一方面，使用選擇性集成學(xué)習(xí)進(jìn)一步提高學(xué)習(xí)

3、系統(tǒng)的泛化能力。本文主要對基于半監(jiān)督回歸的選擇性集成學(xué)習(xí)進(jìn)行了相關(guān)研究，主要研究工作包括： （1）在對當(dāng)前集成學(xué)習(xí)方法進(jìn)行深入分析的基礎(chǔ)上，基于Weka實驗平臺，利用Weka數(shù)據(jù)集對Boosting和Bagging算法的有效性進(jìn)行了驗證，從而也進(jìn)一步驗證了集成學(xué)習(xí)的有效性。 （2）在對選擇性集成學(xué)習(xí)和半監(jiān)督學(xué)習(xí)進(jìn)行深入研究的基礎(chǔ)上，基于Eclipse+Weka開發(fā)平臺，實現(xiàn)了選擇性集成算法GRES和半監(jiān)督回歸算法CORE

4、G，并利用Weka數(shù)據(jù)集和人造數(shù)據(jù)集對算法的有效性進(jìn)行了驗證。 （3）基于以上研究，針對小數(shù)據(jù)量的有標(biāo)記樣本問題，提出了一種基于半監(jiān)督回歸的選擇性集成算法SSRES?；贓clipse+Weka開發(fā)平臺，實現(xiàn)了SSRES算法，并利用Weka數(shù)據(jù)集和人造數(shù)據(jù)集對SSRES算法性能進(jìn)行了分析。實驗結(jié)果表明，SSRES算法能夠利用未標(biāo)記樣本和選擇性集成技術(shù)提高學(xué)習(xí)器的性能。 （4）在實際應(yīng)用方面，針對混凝土行業(yè)配合比數(shù)據(jù)中未試