高維重疊分布下的遷移學習研究.pdf

1、由于多種原因，從一個領域遷移知識到另一個領域是富有挑戰(zhàn)性的。由于訓練數(shù)據(jù)和測試數(shù)據(jù)的條件分布和邊緣分布是不一樣的，直接將一個領域的模型應用到不同的領域通常會導致低的準確性。對于具有大量特征的許多應用，如文本文件，序列數(shù)據(jù)，醫(yī)療數(shù)據(jù)，不同分辨率的圖像數(shù)據(jù)等，兩個領域通常不包含完全相同的特征，如果簡單地將兩個領域的特征集合合并，那么將引入大量缺失值。換句話說，它的邊緣分布最多是重疊。同時，這些問題通常是高維的，擁有數(shù)千個特征。因此，高維度加

2、上缺失值使得難以對兩個領域間的條件概率的關系進行衡量和建模。為了解決這些問題，我們提出了一個框架，首先通過填補非重疊特征上的缺失值，使得兩個領域的邊緣分布更接近。接著，將擴展后的數(shù)據(jù)投影到隱空間上，在該空間上條件和邊緣分布是相似的。該方法在映射后的數(shù)據(jù)上尋找領域間可遷移的共同的子結構并遷移這些概念。預測時，無標簽實例被看作是“查詢”，從out-domain中檢索出最接近的實例，最后通過這些實例的加權平均來得到分類結果。我們正式證明了填補