語句壓縮及其應(yīng)用研究.pdf

1、碩士學(xué)位論文論文題目語句壓縮及其應(yīng)用研究研究生姓名張永磊指導(dǎo)教師姓名周國棟專業(yè)名稱計(jì)算機(jī)軟件與理論研究方向自然語言處理論文提交日期2013年4月語句壓縮及其應(yīng)用研究中文摘要I語句壓縮及其應(yīng)用研究中文摘要近年來隨著各類信息的日益增多，人們對(duì)信息處理的需求促進(jìn)了自然語言處理技術(shù)的空前發(fā)展。與此同時(shí)，人們對(duì)如何在海量的信息中及時(shí)找出有價(jià)值的信息越來越關(guān)注，語句壓縮作為自然語言處理的基礎(chǔ)日益受到研究者的關(guān)注。語句壓縮可以應(yīng)用于自動(dòng)摘要、自動(dòng)標(biāo)題

2、、搜索引擎和話題檢測等諸多任務(wù)中。目前，主流的語句壓縮研究主要基于語料驅(qū)動(dòng)的監(jiān)督模型。本文采用監(jiān)督模型中的判別式模型，通過學(xué)習(xí)成分句法樹的剪裁實(shí)現(xiàn)語句壓縮。本文的研究內(nèi)容主要包括以下幾個(gè)方面：1、基于結(jié)構(gòu)化學(xué)習(xí)的語句壓縮研究。首先，使用匹配抽取的方式構(gòu)建中文平行語料庫；然后，提出語料庫擴(kuò)展方式，為解決語料庫規(guī)模小的問題提供了新思路；最后，使用結(jié)構(gòu)化學(xué)習(xí)算法學(xué)習(xí)源語句成分句法樹的剪裁過程，并實(shí)現(xiàn)語句壓縮。實(shí)驗(yàn)結(jié)果表明，基于結(jié)構(gòu)化學(xué)習(xí)的語句

3、壓縮模型具有很好的性能，且提出的語料庫擴(kuò)展方式具有可行性。2、語句壓縮解碼方法研究。在基于判別式模型的方法下，提出使用整型規(guī)劃方法解碼。通過將語句壓縮問題轉(zhuǎn)換為整型規(guī)劃問題實(shí)現(xiàn)最優(yōu)目標(biāo)語句的查詢，該解碼方法能在保持較好的壓縮率的情況下保留源語句的主要信息。3、語句壓縮評(píng)測指標(biāo)研究。針對(duì)語句壓縮缺乏合適的自動(dòng)評(píng)測指標(biāo)，本文在基于單詞刪除的語句壓縮系統(tǒng)中，引入了BLEU和NGram兩種評(píng)測指標(biāo)用于評(píng)測語句壓縮性能，并通過實(shí)驗(yàn)驗(yàn)證了這兩種評(píng)測