基于多潛在空間的遷移學(xué)習(xí)算法研究.pdf

1、傳統(tǒng)機(jī)器學(xué)習(xí)方法要求訓(xùn)練數(shù)據(jù)與測(cè)試數(shù)據(jù)具有相同的特征空間和特征分布。然而，在許多實(shí)際應(yīng)用領(lǐng)域，這一條件往往很難滿足。因此，利用已有領(lǐng)域所獲得的信息和知識(shí)解決新領(lǐng)域問(wèn)題的遷移學(xué)習(xí)方法近幾年得到了更多的關(guān)注和研究。在這一類跨領(lǐng)域問(wèn)題求解任務(wù)中，針對(duì)領(lǐng)域間具有潛在分布差異的問(wèn)題，采用基于潛在空間的遷移學(xué)習(xí)方法具有較好的分類效果。此類方法構(gòu)建單一的共享潛在特征空間，并使不同領(lǐng)域在此空間上滿足分布一致。然而，當(dāng)領(lǐng)域間的分布差異較大時(shí)，基于單一共享

2、潛在空間的遷移學(xué)習(xí)方法難以有效地獲取和利用領(lǐng)域間的潛在信息。為此，通過(guò)構(gòu)建多潛在空間訓(xùn)練出適應(yīng)性更強(qiáng)的跨領(lǐng)域?qū)W習(xí)模型具有重要的研究和應(yīng)用價(jià)值。
　　本文對(duì)遷移學(xué)習(xí)中多潛在空間的方法進(jìn)行了研究，并提出了幾種基于多潛在空間的遷移學(xué)習(xí)算法。主要研究工作如下:
　　(1)提出一個(gè)能夠在共享與非共享潛在空間中同時(shí)學(xué)習(xí)四種高層概念的四重遷移學(xué)習(xí)方法。本項(xiàng)研究基于如下幾個(gè)出發(fā)點(diǎn):首先，由于領(lǐng)域特有潛在信息有助于遷移學(xué)習(xí)模型的訓(xùn)練，且特有潛

3、在信息大多通過(guò)構(gòu)建特有潛在空間獲得。因此，基于單一共享潛在空間的遷移學(xué)習(xí)方法難以有效地獲取和利用特有潛在信息。其次，由于多義概念能夠提高跨領(lǐng)域的學(xué)習(xí)能力，以往忽略多義概念的遷移學(xué)習(xí)方法難以適應(yīng)多種不同的分布情況。針對(duì)以上問(wèn)題，通過(guò)引入多義概念，四重遷移學(xué)習(xí)方法對(duì)包括多義概念在內(nèi)的四種高層概念進(jìn)行形式化，并創(chuàng)建共享和非共享的潛在空間。然后在共享和非共享的潛在空間上同時(shí)學(xué)習(xí)對(duì)應(yīng)的高層概念。在此基礎(chǔ)上，提出具有收斂性的算法QTL以實(shí)現(xiàn)優(yōu)化問(wèn)題

4、。實(shí)驗(yàn)結(jié)果表明: QTL優(yōu)于其他的對(duì)比方法，并有效的避免了負(fù)遷移的發(fā)生。
　　(2)提出一個(gè)能夠?qū)W習(xí)多個(gè)共享潛在空間上共享概念的多橋接遷移學(xué)習(xí)方法。由于單一共享潛在空間中的共享潛在信息僅是領(lǐng)域間所有共享潛在信息的一部分，因此，基于單一共享潛在空間的遷移學(xué)習(xí)方法難以有效地獲取和利用共享潛在信息。針對(duì)這一問(wèn)題，多橋接遷移學(xué)習(xí)方法在共現(xiàn)原始特征空間上創(chuàng)建多個(gè)不同的共享潛在特征空間，并在每個(gè)共享潛在空間上學(xué)習(xí)相應(yīng)的高層概念以滿足其分布一致

5、。在此基礎(chǔ)上，提出算法MBTL以實(shí)現(xiàn)優(yōu)化問(wèn)題。實(shí)驗(yàn)結(jié)果表明:MBTL在主題分類和情感分類任務(wù)上都優(yōu)于其他的對(duì)比方法，并具有收斂性。
　　(3)提出一個(gè)能夠同時(shí)學(xué)習(xí)多個(gè)共享潛在空間上共享概念以及多個(gè)非共享（特有）潛在空間上非共享（特有）概念的多重遷移學(xué)習(xí)方法。針對(duì)基于單一共享潛在空間的遷移學(xué)習(xí)方法難以有效地獲取和利用共享潛在信息和非共享潛在信息，多重遷移學(xué)習(xí)方法在共現(xiàn)原始特征空間上創(chuàng)建了共享潛在空間，在每個(gè)領(lǐng)域的原始特征空間上創(chuàng)建了