存在“就是”句子的句間關(guān)系識別研究.pdf

1、隨著自然語言處理技術(shù)的迅速發(fā)展，機(jī)器翻譯、信息檢索、信息抽取、自動問答、文本連貫性評價等在內(nèi)的研究都有了較大的突破，但發(fā)展的同時也面臨著瓶頸。在語言的語義理解方面，計算機(jī)還無法處理傳統(tǒng)語言學(xué)中對于句群層面的一些抽象定義。自然語言處理技術(shù)要想有進(jìn)一步的提升，還須在句群層面的語義分析、語義理解上提供相關(guān)的理論和技術(shù)支持。對于漢英機(jī)器翻譯，信息檢索，自動問答等的研究來說，理想的模型也應(yīng)該是建立在語篇或者句群層面上。因為句子本身所能承載的上下文

2、之間的信息過少，從單個句子到段落、篇章的語義過渡又太大。為了在順應(yīng)傳統(tǒng)語言學(xué)思想的基礎(chǔ)上，能夠更好地做到對段落、篇章進(jìn)行處理，句間關(guān)系這一概念被引入計算語言學(xué)中。句間關(guān)系即為兩個文本單元（句與句）之間存在的關(guān)聯(lián)。加強(qiáng)對句間關(guān)系的研究也就成了自然語言處理的新發(fā)展對語法研究提出的新要求。
　　句間關(guān)系作為句群、語義理解的重要內(nèi)容，獲得了學(xué)術(shù)界越來越多的關(guān)注。查閱語言學(xué)相關(guān)資料我們發(fā)現(xiàn)存在“就是”的句子在句間關(guān)系的研究上具有很重要的研究

3、價值，句間會出現(xiàn)傳統(tǒng)語言學(xué)12種關(guān)系中的所有情況。于是本文在對存在“就是”句子的研究中，對存在“就是”的單句和與這個句子最靠近的單句間的關(guān)系進(jìn)行了探討，實驗過程中我們使用了規(guī)則和機(jī)器學(xué)習(xí)相結(jié)合的方法。在語料的選取上，由統(tǒng)計一致性指標(biāo)Kappa值確定出來的人員對從北京大學(xué)CCL語料庫隨機(jī)抽選出的句子進(jìn)行標(biāo)注，將標(biāo)注的結(jié)果作為人工判斷的結(jié)果。在規(guī)則的提取中，我們首先查閱語言學(xué)相關(guān)方面，提取出能夠用來判別存在“就是”句子句間關(guān)系的一些特征，這

4、些特征分為存在“就是”句子所特有的特征，和普適的特征，然后將特征寫入特征向量。為了提高準(zhǔn)確率，在特征的寫入中，我們加強(qiáng)了特有特征的識別，即增加一維向量用來存儲明顯關(guān)系特征（特有特征），之后使用分類工具進(jìn)行建模（機(jī)器學(xué)習(xí)），再使用模型來預(yù)測。將預(yù)測的結(jié)果和人工判斷的結(jié)果進(jìn)行比較，得出準(zhǔn)確率、召回率、F1值，實驗結(jié)果表明，對特有特征進(jìn)行加強(qiáng)后的實驗總體準(zhǔn)確率較之加強(qiáng)前平均提高了兩個百分點。這里分類工具我們使用的是 SVM和邏輯回歸，基于這兩