中文句間關(guān)系識(shí)別及其應(yīng)用研究.pdf

1、隨著互聯(lián)網(wǎng)的飛速發(fā)展,底層信息抽取技術(shù)發(fā)展的日趨成熟,搜索引擎等互聯(lián)網(wǎng)應(yīng)用也對(duì)文本分析提出了更高的要求,不僅僅希望理解一個(gè)句子,更希望理解篇章,篇章語(yǔ)義分析逐漸引起了大家的重視。句間關(guān)系對(duì)篇章語(yǔ)義的分析具有重要的作用,在自然語(yǔ)言處理和信息檢索的各個(gè)領(lǐng)域都有著重要的作用。句間關(guān)系中的因果關(guān)系對(duì)于問(wèn)答系統(tǒng)的應(yīng)用顯而易見(jiàn)。所謂句間關(guān)系就是指在一個(gè)篇章中兩個(gè)文本單元之間具有的語(yǔ)義關(guān)聯(lián)。
　　本文針對(duì)中文句間關(guān)系進(jìn)行系統(tǒng)性的研究。首先我們構(gòu)

2、建了由1096篇文本構(gòu)成的句間關(guān)系語(yǔ)料,針對(duì)語(yǔ)料庫(kù)的標(biāo)注內(nèi)容進(jìn)行了數(shù)據(jù)分析,用以挖掘中文句間關(guān)系的語(yǔ)言表述特點(diǎn)。分析句間關(guān)系各關(guān)系之間語(yǔ)義歧義性等問(wèn)題。句間關(guān)系可以分為顯示句間關(guān)系和隱式句間關(guān)系兩大類,本文分別針對(duì)這兩類關(guān)系根據(jù)其語(yǔ)言特點(diǎn)進(jìn)行了識(shí)別研究。
　　顯示句間關(guān)系是指具有明顯關(guān)聯(lián)詞詞連接的兩個(gè)文本單元之間的關(guān)系,通過(guò)對(duì)語(yǔ)料的分析發(fā)現(xiàn)關(guān)聯(lián)詞對(duì)于句間關(guān)系具有很強(qiáng)的代表性,因此利用關(guān)聯(lián)詞規(guī)則的方法對(duì)顯式句間關(guān)系識(shí)別進(jìn)行了研究,研

3、究發(fā)現(xiàn)利用關(guān)聯(lián)詞規(guī)則的方法針對(duì)顯式關(guān)系的識(shí)別取得了較好的效果,更近一步利用機(jī)器學(xué)習(xí)與規(guī)則結(jié)合的方法取得了更為理想的效果,其中條件關(guān)系的F值達(dá)到了94.93％。
　　隱式句間關(guān)系相對(duì)于顯式關(guān)系則相對(duì)具有更大的難度和挑戰(zhàn)性,因?yàn)闆](méi)有明顯的關(guān)聯(lián)詞來(lái)關(guān)聯(lián)兩個(gè)文本單元。所以采用了基于機(jī)器學(xué)習(xí)的方法進(jìn)行識(shí)別研究。分別利用最大熵模型和SVM模型進(jìn)行建模,針對(duì)隱式關(guān)系抽取了相應(yīng)的特征,實(shí)驗(yàn)發(fā)現(xiàn)SVM模型取得了更好的實(shí)驗(yàn)結(jié)果,最高擴(kuò)展關(guān)系的F值達(dá)到

4、了72.36%。同時(shí)針對(duì)實(shí)驗(yàn)所用特征進(jìn)行了特征分析,其中關(guān)鍵詞特征的表現(xiàn)最為出色,對(duì)各個(gè)關(guān)系都起到了很大的表征作用。由于有指導(dǎo)的構(gòu)建訓(xùn)練語(yǔ)料對(duì)語(yǔ)料數(shù)量的限制,本文利用過(guò)濾后的顯式關(guān)聯(lián)詞針對(duì)因果關(guān)系抽取了大量的關(guān)系實(shí)例,去掉關(guān)聯(lián)詞后構(gòu)成了隱式關(guān)系,加入到訓(xùn)練語(yǔ)料中,實(shí)驗(yàn)結(jié)果表明此種方法使得實(shí)驗(yàn)結(jié)果的F值有了較為明顯的提高。
　　最后,本文考察了句間關(guān)系在事件關(guān)系識(shí)別問(wèn)題上的應(yīng)用,以事件因果關(guān)系為例,發(fā)現(xiàn)加入句間關(guān)系特征后事件因果關(guān)系