中文逗號分類方法研究.pdf

1、在自然語言處理中對于標點符號的研究越來越重視，其中，逗號在漢語及大多數(shù)外語中都是使用頻率最高的標點符號。逗號的用途廣泛、用法靈活，因此很難掌握。本文主要對中文逗號在句子中的作用進行了研究，重點研究了逗號在中文分句和基本語篇單元識別中的分類方法。具體的研究內容歸納如下：
　?。?）對CTB6.0（Penn Chinese Treebank）的語料進行了詳細的統(tǒng)計和分析，歸納總結了兩種逗號分類的標準。分類標準之一是將逗號視為句子的邊界

2、，將逗號分成兩類：可以分句的逗號EOS（End Of a Sentence）和不可以分句的逗號Non-EOS（Not the End Of a Sentence）。另一種分類標準是將逗號分為七類，并將其視為基本語篇單元邊界的同時標記逗號分隔單元之間的關系。
　　（2）提出了一個基于層次結構的中文分句方法。該方法首先根據(jù)各種有效句法的特征對逗號進行第一層分類；在此基礎上，對第一層分類器中可信度低的樣本利用新的特征進行第二層分類。實驗

3、證明基于層次結構的中文分句識別方法取得了良好的效果。
　?。?）提出了基于逗號的中文基本語篇單元識別及其優(yōu)化方法。首先，研究了用于基本語篇單元識別的有效句法特征，并分別用最大熵模型和條件隨機域模型進行識別。其次，進一步從以上2個分類器中捕獲全局與局部特征，用序列化和統(tǒng)計相結合的方法來提高基本語篇單元識別的性能。實驗表明，本文提出的方法提高了系統(tǒng)的性能。
　　本文提出了一種基于逗號的中文分句和基本語篇單元識別方法，實驗證明了該