基于神經(jīng)網(wǎng)絡(luò)的篇章一致性建模.pdf

1、篇章一致性是指句子與句子之間要有一定的順序。在邏輯上和句法上對于一個多句子文本都有著重要的意義。對于這樣的文本來說，能否對其進(jìn)行有效的篇章一致性建模是該類型文本的生成與處理的關(guān)鍵。如果不能夠保持篇章一致性，即使篇章中的每個句子都是通順的，整體的篇章文本也不具有可讀性。
　　篇章一致性建模在自然語言處理與自然語言生成中有著廣泛的應(yīng)用，但是現(xiàn)有的篇章一致性模型并不能很好的適用。究其原因，是因為現(xiàn)有的所有篇章一致性模型都以句子為最小處理

2、單元，著重于判斷句子間的篇章一致性信息，而忽略了句子內(nèi)部的單詞順序?qū)φw的篇章一致性的影響，導(dǎo)致無法的到令人滿意的效果。
　　為了能夠更好地解決篇章一致性建模問題，本文首先提出了一個基于最大熵模型的篇章一致性建模方法。不同于以往方法采用的句法分析的其他特征抽取手段，我們的模型采用詞匯化的特征來對篇章一致性進(jìn)行建模，以證明在詞匯級別進(jìn)行篇章一致性建模的可行性。
　　進(jìn)一步優(yōu)化模型采用了利用循環(huán)神經(jīng)網(wǎng)絡(luò)來改進(jìn)基于最大熵的篇章一致

3、性模型，得到了一個基于循環(huán)神經(jīng)網(wǎng)絡(luò)的句子級語言模型。在篇章一致性建模方面的性能得到了進(jìn)一步的提升，并且通過循環(huán)神經(jīng)網(wǎng)絡(luò)我們很容易的獲取實數(shù)向量特征。
　　為了同時兼顧句子級和詞匯級的篇章一致性，我們提出了基于層次循環(huán)神經(jīng)網(wǎng)絡(luò)的篇章語言模型?；趯哟窝h(huán)神經(jīng)網(wǎng)絡(luò)的篇章語言模型將句子級的歷史信息與詞匯級的歷史信息融合在一起，共同對句子序列進(jìn)行預(yù)測。同時我們提出了層次循環(huán)神經(jīng)網(wǎng)絡(luò)的兩步訓(xùn)練法，以高效的流水方式訓(xùn)練句子級語言模型和詞匯級語