中文語(yǔ)句壓縮關(guān)鍵技術(shù)研究.pdf

1、近年來，隨著計(jì)算機(jī)和互聯(lián)網(wǎng)的廣泛應(yīng)用和迅速發(fā)展，自然語(yǔ)言處理技術(shù)正進(jìn)入到一個(gè)飛速發(fā)展的時(shí)代。與此同時(shí)，如何從海量數(shù)據(jù)中迅速面準(zhǔn)確的獲取有價(jià)值的信息越來越受到研究人員的關(guān)注。語(yǔ)句壓縮技術(shù)作為解決這一問題的基本技術(shù)具有很高的現(xiàn)實(shí)意義。語(yǔ)句壓縮可以應(yīng)用于自動(dòng)文摘、問答系統(tǒng)和機(jī)器翻譯等諸多任務(wù)中。
　　本文以語(yǔ)句壓縮為核心，提出了中文語(yǔ)句壓縮規(guī)范，并在規(guī)范指導(dǎo)下人工標(biāo)注了一個(gè)語(yǔ)料庫(kù)。利用該語(yǔ)料庫(kù)，本文構(gòu)建了一個(gè)針對(duì)中文任務(wù)的自動(dòng)壓縮系統(tǒng)，

2、并采用人工和自動(dòng)兩類指標(biāo)對(duì)壓縮結(jié)果進(jìn)行評(píng)價(jià)。
　　本文的主要工作和貢獻(xiàn)主要包括以下幾個(gè)方面:
　　(1)鑒于目前語(yǔ)句壓縮任務(wù)的主流研究方向集中于有監(jiān)督的學(xué)習(xí)方法，而缺乏大規(guī)模適用于該任務(wù)的平行語(yǔ)料庫(kù)給研究工作帶來了很大的挑戰(zhàn)。因此，本文根據(jù)中文語(yǔ)言結(jié)構(gòu)特點(diǎn)，提出了一套中文語(yǔ)句壓縮語(yǔ)料庫(kù)標(biāo)注規(guī)范，并在該規(guī)范指導(dǎo)下構(gòu)建了語(yǔ)料庫(kù)NEUCSS，共3308組“原語(yǔ)句-壓縮句”句對(duì)。NEUCSS填補(bǔ)了目前適用于該任務(wù)的語(yǔ)料庫(kù)的空白，為未

3、來相關(guān)研究工作提供良好的數(shù)據(jù)基礎(chǔ)。另外，本文還介紹了整個(gè)語(yǔ)料庫(kù)的標(biāo)注實(shí)施過程以及質(zhì)量控制手段。
　　(2)利用NEUCSS語(yǔ)料庫(kù)，構(gòu)建了一套針對(duì)中文任務(wù)的自動(dòng)語(yǔ)句壓縮系統(tǒng)。系統(tǒng)基于同步樹替換文法，在預(yù)處理生成平行句法樹的基礎(chǔ)上進(jìn)行規(guī)則抽取，之后采用支持結(jié)構(gòu)化輸出的支持向量機(jī)算法學(xué)習(xí)模型參數(shù)，并利用該參數(shù)對(duì)測(cè)試句子進(jìn)行解碼，獲得最終壓縮結(jié)果。
　　(3)進(jìn)行了中文語(yǔ)句壓縮任務(wù)的評(píng)價(jià)指標(biāo)的研究。主要有人工評(píng)價(jià)和自動(dòng)評(píng)價(jià)兩種方法。