面向異源數(shù)據(jù)的機(jī)器學(xué)習(xí)算法研究.pdf

1、數(shù)據(jù)同源是傳統(tǒng)機(jī)器學(xué)習(xí)依賴的基本假設(shè)，即訓(xùn)練數(shù)據(jù)和測(cè)試數(shù)據(jù)服從相同分布。但現(xiàn)實(shí)環(huán)境中同源數(shù)據(jù)十分稀缺，有限的同源數(shù)據(jù)無法訓(xùn)練出有效機(jī)器學(xué)習(xí)模型，這就是同源數(shù)據(jù)稀缺問題。解決同源數(shù)據(jù)稀缺問題的一個(gè)方法是人工構(gòu)造同源數(shù)據(jù)，但這種方法成本過高。解決同源數(shù)據(jù)稀缺問題的另一個(gè)有效方法是整合分布不同的異源數(shù)據(jù)來進(jìn)行機(jī)器學(xué)習(xí)模型的訓(xùn)練，因此面向異源數(shù)據(jù)的機(jī)器學(xué)習(xí)算法十分重要。
　　根據(jù)樣本空間是否相同，異源數(shù)據(jù)可以分為同構(gòu)異源數(shù)據(jù)和異構(gòu)異源數(shù)據(jù)

2、。為了解決同源數(shù)據(jù)稀缺問題，可以將無標(biāo)注的樣本通過眾包方式收集標(biāo)注。每個(gè)參與眾包的標(biāo)注者被視作一個(gè)數(shù)據(jù)源，那么收集到的數(shù)據(jù)就是同構(gòu)異源數(shù)據(jù)。面向這種同構(gòu)異源數(shù)據(jù)的機(jī)器學(xué)習(xí)算法稱為群智學(xué)習(xí)算法。根據(jù)求得目標(biāo)分類器的步驟，群智學(xué)習(xí)算法分為二階段方法和直接方法。個(gè)人分類器方法是群智學(xué)習(xí)直接方法中的代表方法，該算法擁有凸形式的目標(biāo)函數(shù)但對(duì)模型參數(shù)分布做了強(qiáng)假設(shè)。本文提出一種非參數(shù)化的群智學(xué)習(xí)算法。該算法通過組合優(yōu)化目標(biāo)構(gòu)造出凸形式的目標(biāo)函數(shù)，并

3、且沒有對(duì)模型參數(shù)的分布做任何假設(shè)。
　　另一種整合異源數(shù)據(jù)的方法是其他領(lǐng)域的數(shù)據(jù)來幫助目標(biāo)領(lǐng)域的模型訓(xùn)練過程。不同領(lǐng)域的數(shù)據(jù)的樣本空間和分布均不同，因此是異構(gòu)異源數(shù)據(jù)。面向這種同構(gòu)異源數(shù)據(jù)的機(jī)器學(xué)習(xí)算法稱為遷移學(xué)習(xí)。根據(jù)遷移的方式不同遷移學(xué)習(xí)可以分為基于樣本權(quán)重、基于特征表示以及基于模型參數(shù)三類遷移方法。本文研究并提出一種基于模型的遷移方法和一種基于模型和樣本共同遷移的方法。這兩種遷移方法均能利用輔助領(lǐng)域的數(shù)據(jù)改善目標(biāo)領(lǐng)域的模型效