序列模型中的遷移學(xué)習(xí)研究.pdf

1、機(jī)器學(xué)習(xí)領(lǐng)域的許多問題都可以形式化為序列學(xué)習(xí)問題。在序列學(xué)習(xí)問題中，若干數(shù)據(jù)點(diǎn)構(gòu)成一個(gè)前后有序的整體，每個(gè)數(shù)據(jù)點(diǎn)需分別賦予一個(gè)類別標(biāo)簽。因?yàn)樾蛄兄袛?shù)據(jù)點(diǎn)之間存在著豐富而復(fù)雜的序列依賴關(guān)系，此類問題具有很大的挑戰(zhàn)性。經(jīng)典的機(jī)器學(xué)習(xí)方法，由于受數(shù)據(jù)獨(dú)立性假設(shè)的局限，無法考慮前后數(shù)據(jù)的依賴關(guān)系而丟失了許多重要信息，使得分類效果降低，甚至無效。條件隨機(jī)場(Conditional Random Fields，CRF)模型是目前解決序列學(xué)習(xí)問題的有

2、效方法，在自然語言處理，計(jì)算機(jī)視覺，生物信息等領(lǐng)域得到的廣泛的應(yīng)用。
　　 雖然CRF取得顯著的成功，但是訓(xùn)練一個(gè)有效的模型，仍然面臨著代價(jià)過高的挑戰(zhàn)。這些代價(jià)主要來自兩方面。首先是設(shè)計(jì)特征的代價(jià)是高昂的。特征對(duì)于分類器來說至關(guān)重要，然而設(shè)計(jì)好的特征需要領(lǐng)域?qū)＜业膮⑴c和指導(dǎo)，需要付出極大代價(jià)。其次，為了模型訓(xùn)練，要標(biāo)注大量的數(shù)據(jù)，而數(shù)據(jù)標(biāo)注的代價(jià)是巨大的。如何減少標(biāo)注代價(jià)，近年來一直是機(jī)器學(xué)習(xí)研究者致力解決的問題。由于序列數(shù)據(jù)的

3、復(fù)雜性，以上兩個(gè)問題對(duì)于序列學(xué)習(xí)問題更為突出，尚無有效的解決方法。針對(duì)上述問題，本文提出了基于遷移學(xué)習(xí)框架的序列模型。在本文提出的模型框架下，給出了一個(gè)特征學(xué)習(xí)和少量訓(xùn)練數(shù)據(jù)學(xué)習(xí)問題的集成解決辦法。
　　 首先，針對(duì)序列數(shù)據(jù)的特征學(xué)習(xí)問題，本文提出了神經(jīng)網(wǎng)絡(luò).條件隨機(jī)場混合模型(NNCRF)。利用神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)原始數(shù)據(jù)的健壯特征表示已成為目前研究的熱點(diǎn)，然而如何學(xué)習(xí)非獨(dú)立數(shù)據(jù)的特征表示還是一個(gè)亟待解決的問題。本文將CRF和神經(jīng)網(wǎng)絡(luò)

4、相融合，使得模型不僅能夠保留CRF在學(xué)習(xí)序列數(shù)據(jù)的動(dòng)態(tài)特征能力，而且能夠從原始輸入數(shù)據(jù)中學(xué)習(xí)到更有效、低噪聲、非線性的高級(jí)特征。同時(shí)，NNCRF模型的多層結(jié)構(gòu)為進(jìn)一步的遷移學(xué)習(xí)序列模型奠定了基礎(chǔ)。
　　 其次，基于NNCRF模型，本文創(chuàng)新性的提出了序列模型的遷移學(xué)習(xí)方法。在機(jī)器學(xué)習(xí)任務(wù)中，不同但是相關(guān)的學(xué)習(xí)任務(wù)之間是存在某些共通的知識(shí)的。本文提出的遷移學(xué)習(xí)序列模型，就是利用來自相關(guān)的輔助任務(wù)的有益知識(shí)來提高目標(biāo)任務(wù)的訓(xùn)練效果。它

5、通過從相關(guān)的序列學(xué)習(xí)任務(wù)學(xué)習(xí)到的知識(shí)共享到目標(biāo)學(xué)習(xí)任務(wù)中，間接的利用了相關(guān)任務(wù)的訓(xùn)練數(shù)據(jù)。本文不僅給出了序列模型的遷移學(xué)習(xí)的模型架構(gòu)，而且對(duì)任務(wù)之間的相關(guān)性，以及對(duì)目標(biāo)學(xué)習(xí)任務(wù)的提升都做了詳盡的理論和實(shí)驗(yàn)分析，并給出了序列模型的遷移學(xué)習(xí)方法的優(yōu)化目標(biāo)和優(yōu)化算法。通過本文提出的遷移學(xué)習(xí)的序列模型架構(gòu)，多個(gè)相近的序列模型可以同時(shí)學(xué)習(xí)，共享共通的領(lǐng)域知識(shí)。這樣，即使在目標(biāo)學(xué)習(xí)任務(wù)的訓(xùn)練數(shù)據(jù)較少的情況下，仍可以間接利用輔助學(xué)習(xí)任務(wù)的訓(xùn)練數(shù)據(jù)，從

6、而增加模型的泛化性。
　　 最后，在遷移學(xué)習(xí)序列模型的基礎(chǔ)上，本文根據(jù)序列數(shù)據(jù)的特性，設(shè)計(jì)了基于偽任務(wù)的多任務(wù)學(xué)習(xí)。其中，偽任務(wù)并非實(shí)際存在的真實(shí)學(xué)習(xí)任務(wù)，而是借鑒語言模型的思想，從目標(biāo)任務(wù)中構(gòu)造的是一個(gè)無監(jiān)督的序列模型。由于它可以使用未標(biāo)注數(shù)據(jù)進(jìn)行訓(xùn)練，因此在NNCRF遷移學(xué)習(xí)的框架下，同時(shí)訓(xùn)練目標(biāo)任務(wù)和偽任務(wù)兩個(gè)模型，使得模型的訓(xùn)練過程轉(zhuǎn)變?yōu)榘氡O(jiān)督學(xué)習(xí)。偽任務(wù)的設(shè)計(jì)，是模型不僅能夠利用未標(biāo)注數(shù)據(jù)參與訓(xùn)練，而且使得遷移學(xué)習(xí)序列

7、能夠在沒有真正的輔助任務(wù)的情況下也能工作，極大的擴(kuò)展了模型的靈活性和應(yīng)用范圍。
　　 本文提出的NNCRF模型具有特征學(xué)習(xí)的能力，并且以NNCRF模型為基礎(chǔ)的遷移學(xué)習(xí)可在訓(xùn)練中利用相關(guān)學(xué)習(xí)任務(wù)的標(biāo)注數(shù)據(jù)和未標(biāo)注數(shù)據(jù)，從兩個(gè)方面增加了訓(xùn)練可用的數(shù)據(jù)量，減少了數(shù)據(jù)標(biāo)注的代價(jià)，而且也對(duì)特征學(xué)習(xí)可提供有益的促進(jìn)。通過模擬數(shù)據(jù)的實(shí)驗(yàn)，展示了本文提出的模型在特征學(xué)習(xí)和序列學(xué)習(xí)方面的優(yōu)勢。同時(shí)，在動(dòng)作識(shí)別的真實(shí)數(shù)據(jù)集上的實(shí)驗(yàn)也表明，本文提出的