中文語句壓縮關鍵技術研究.pdf

1、近年來，隨著計算機和互聯網的廣泛應用和迅速發(fā)展，自然語言處理技術正進入到一個飛速發(fā)展的時代。與此同時，如何從海量數據中迅速面準確的獲取有價值的信息越來越受到研究人員的關注。語句壓縮技術作為解決這一問題的基本技術具有很高的現實意義。語句壓縮可以應用于自動文摘、問答系統和機器翻譯等諸多任務中。
　　本文以語句壓縮為核心，提出了中文語句壓縮規(guī)范，并在規(guī)范指導下人工標注了一個語料庫。利用該語料庫，本文構建了一個針對中文任務的自動壓縮系統，

2、并采用人工和自動兩類指標對壓縮結果進行評價。
　　本文的主要工作和貢獻主要包括以下幾個方面:
　　(1)鑒于目前語句壓縮任務的主流研究方向集中于有監(jiān)督的學習方法，而缺乏大規(guī)模適用于該任務的平行語料庫給研究工作帶來了很大的挑戰(zhàn)。因此，本文根據中文語言結構特點，提出了一套中文語句壓縮語料庫標注規(guī)范，并在該規(guī)范指導下構建了語料庫NEUCSS，共3308組“原語句-壓縮句”句對。NEUCSS填補了目前適用于該任務的語料庫的空白，為未

3、來相關研究工作提供良好的數據基礎。另外，本文還介紹了整個語料庫的標注實施過程以及質量控制手段。
　　(2)利用NEUCSS語料庫，構建了一套針對中文任務的自動語句壓縮系統。系統基于同步樹替換文法，在預處理生成平行句法樹的基礎上進行規(guī)則抽取，之后采用支持結構化輸出的支持向量機算法學習模型參數，并利用該參數對測試句子進行解碼，獲得最終壓縮結果。
　　(3)進行了中文語句壓縮任務的評價指標的研究。主要有人工評價和自動評價兩種方法。