半監(jiān)督算法在自然語(yǔ)言處理中應(yīng)用的研究.pdf

1、自然語(yǔ)言處理技術(shù)的發(fā)展給人們生活帶來(lái)了很多方便。有監(jiān)督學(xué)習(xí)方法在自然語(yǔ)言處理領(lǐng)域取得了巨大成功，然而由于其依賴大量的標(biāo)注語(yǔ)料，很難擴(kuò)展到標(biāo)注語(yǔ)料缺乏的情況。自然語(yǔ)言處理領(lǐng)域有很多任務(wù)缺乏標(biāo)注語(yǔ)料，但是未標(biāo)注語(yǔ)料卻很容易獲得，此時(shí)，半監(jiān)督學(xué)習(xí)是一個(gè)好的選擇。半監(jiān)督學(xué)習(xí)主要研究?jī)?nèi)容是如何同時(shí)利用標(biāo)記數(shù)據(jù)和無(wú)標(biāo)記數(shù)據(jù)，獲得比僅能利用標(biāo)記數(shù)據(jù)的有監(jiān)督學(xué)習(xí)方法更好的性能。目前，半監(jiān)督學(xué)習(xí)受限于高昂的計(jì)算代價(jià)，不能很好的應(yīng)用與規(guī)模較大的自然語(yǔ)言處理

2、任務(wù)中。
　　本文主要研究了如何將基于主動(dòng)學(xué)習(xí)（active learning）以及基于圖（graph based）的半監(jiān)督機(jī)器學(xué)習(xí)算法更好的應(yīng)用于自然語(yǔ)言處理任務(wù)中。首先，本文提出了一種基于主動(dòng)學(xué)習(xí)策略的半監(jiān)督支持向量機(jī)框架，使用平均隨機(jī)梯度下降（ASGD）方法做模型求解，并重點(diǎn)研究了合理的主動(dòng)學(xué)習(xí)策略，將時(shí)間和空間復(fù)雜度都降到了線性。在文本分類和情感分類的實(shí)驗(yàn)結(jié)果證明我們的方法能夠和其他主流的半監(jiān)督支持向量機(jī)達(dá)到相當(dāng)?shù)男Ч?，?/p>

3、且大幅的提升了訓(xùn)練速度。同時(shí)，該學(xué)習(xí)框架也可以推廣到其他半監(jiān)督學(xué)習(xí)模型中。然后，本文研究了基于圖的半監(jiān)督算法在詞性標(biāo)注上的應(yīng)用，將基于錨圖的標(biāo)記傳播算法應(yīng)用到了詞性標(biāo)注任務(wù)中，重點(diǎn)研究了自然語(yǔ)言處理中數(shù)據(jù)稀疏的解決辦法，探討了詞向量的使用方式。實(shí)驗(yàn)結(jié)果表明基于圖的半監(jiān)督算法結(jié)合詞向量的上下文特征表示方式可以有效提高詞性標(biāo)注準(zhǔn)確率。本文又對(duì)上述兩種機(jī)制的算法進(jìn)行了深入的分析比較，從理論和實(shí)驗(yàn)上分析了兩種方法的原理，基本假設(shè)，時(shí)間空間復(fù)雜度