跨領(lǐng)域模糊限制信息檢測研究.pdf

1、模糊限制信息，又被稱為不確定信息，是自然語言文本中經(jīng)常出現(xiàn)的一種語言現(xiàn)象。模糊限制信息通常出現(xiàn)在下列的情況下:事實(shí)不能被確定，或者說話人在表達(dá)時有意的省略某些信息，使得表達(dá)的意思出現(xiàn)模糊不清，歧義或者誤導(dǎo)。
　　在自然語言處理的很多應(yīng)用中，將確定信息和不確定信息區(qū)分開來，是很重要的一步工作。例如，在智能信息抽取和檢索中，為了使得到的信息更加真實(shí)可靠，我們需要對信息進(jìn)行過濾，選取出說話人十分肯定或者確信的信息。說話人在表達(dá)不確定時，

2、往往會使用一些關(guān)鍵性的表達(dá)詞，我們可以據(jù)此進(jìn)行模糊限制信息的檢測，將不確定信息忽略，從而得到真實(shí)有效的信息。
　　目前，模糊限制信息檢測已有的訓(xùn)練數(shù)據(jù)僅僅集中在少量的幾個領(lǐng)域中，而且模糊限制的語言使用與專業(yè)領(lǐng)域有著密切的關(guān)聯(lián)。當(dāng)訓(xùn)練數(shù)據(jù)和測試數(shù)據(jù)保持同一數(shù)據(jù)分布的時候，傳統(tǒng)的機(jī)器學(xué)習(xí)方法能對數(shù)據(jù)進(jìn)行較好的預(yù)測，但是在訓(xùn)練數(shù)據(jù)和測試數(shù)據(jù)分布不一致時，效果卻不盡如人意。這使得在僅僅使用現(xiàn)有的數(shù)據(jù)時，傳統(tǒng)的機(jī)器學(xué)習(xí)方法很難對其他領(lǐng)域的模

3、糊限制信息進(jìn)行檢測，而對每一個新的領(lǐng)域都進(jìn)行大量的數(shù)據(jù)標(biāo)注是一項(xiàng)非常昂貴的工作，這就造成了模糊限制信息的發(fā)展推廣十分困難和緩慢。
　　為了解決模糊限制信息的領(lǐng)域問題，我們提出了一種跨領(lǐng)域的學(xué)習(xí)框架，針對目標(biāo)領(lǐng)域訓(xùn)練數(shù)據(jù)十分缺乏的情況，結(jié)合了遷移學(xué)習(xí)和半監(jiān)督學(xué)習(xí)的優(yōu)勢，從源領(lǐng)域標(biāo)注數(shù)據(jù)，目標(biāo)領(lǐng)域標(biāo)注數(shù)據(jù)和目標(biāo)領(lǐng)域未標(biāo)注數(shù)據(jù)三個方面進(jìn)行樣例篩選和權(quán)重調(diào)整，提高了遷移學(xué)習(xí)的效果。我們的學(xué)習(xí)框架在幾個公共的數(shù)據(jù)集上的準(zhǔn)確率都明顯高于現(xiàn)有的