跨領域模糊限制信息檢測研究.pdf

1、模糊限制信息，又被稱為不確定信息，是自然語言文本中經(jīng)常出現(xiàn)的一種語言現(xiàn)象。模糊限制信息通常出現(xiàn)在下列的情況下:事實不能被確定，或者說話人在表達時有意的省略某些信息，使得表達的意思出現(xiàn)模糊不清，歧義或者誤導。
　　在自然語言處理的很多應用中，將確定信息和不確定信息區(qū)分開來，是很重要的一步工作。例如，在智能信息抽取和檢索中，為了使得到的信息更加真實可靠，我們需要對信息進行過濾，選取出說話人十分肯定或者確信的信息。說話人在表達不確定時，

2、往往會使用一些關鍵性的表達詞，我們可以據(jù)此進行模糊限制信息的檢測，將不確定信息忽略，從而得到真實有效的信息。
　　目前，模糊限制信息檢測已有的訓練數(shù)據(jù)僅僅集中在少量的幾個領域中，而且模糊限制的語言使用與專業(yè)領域有著密切的關聯(lián)。當訓練數(shù)據(jù)和測試數(shù)據(jù)保持同一數(shù)據(jù)分布的時候，傳統(tǒng)的機器學習方法能對數(shù)據(jù)進行較好的預測，但是在訓練數(shù)據(jù)和測試數(shù)據(jù)分布不一致時，效果卻不盡如人意。這使得在僅僅使用現(xiàn)有的數(shù)據(jù)時，傳統(tǒng)的機器學習方法很難對其他領域的模

3、糊限制信息進行檢測，而對每一個新的領域都進行大量的數(shù)據(jù)標注是一項非常昂貴的工作，這就造成了模糊限制信息的發(fā)展推廣十分困難和緩慢。
　　為了解決模糊限制信息的領域問題，我們提出了一種跨領域的學習框架，針對目標領域訓練數(shù)據(jù)十分缺乏的情況，結(jié)合了遷移學習和半監(jiān)督學習的優(yōu)勢，從源領域標注數(shù)據(jù)，目標領域標注數(shù)據(jù)和目標領域未標注數(shù)據(jù)三個方面進行樣例篩選和權重調(diào)整，提高了遷移學習的效果。我們的學習框架在幾個公共的數(shù)據(jù)集上的準確率都明顯高于現(xiàn)有的