漢語組塊識別的研究與應用.pdf

1、隨著社會和信息網絡的發(fā)展，自然語言處理變得越來越重要。完全句法分析是自然語言處理的一個重點和難點，于是人們提出一種淺層句法分析來降低完全句法分析的難度。組塊識別作為自然語言淺層句法分析的主要方面之一，它是以組塊為單位來進行語法分析，從而為更深層次的句法分析以及組塊對齊等自然語言處理任務提供基礎。
　　 本文采用基于CRFs的分布式方法與錯誤驅動技術相結合，來實現(xiàn)對漢語組塊的識別。首先，采用“分而治之”的方法將各組塊進行分組，為各

2、分組分別選取合適的單一特征和組合特征，用CRFs進行組塊識別；然后將識別結果加入到特征模板中，進行CRFs的第二次識別。在合并結果，處理類型沖突時，綜合考慮各組組塊識別的F值及數量兩種因素確定其合并的優(yōu)先級，從而進一步提高了組塊的整體識別結果，尤其是名詞組塊的識別效果。
　　 最后，以識別出的名詞組塊為基礎，提出了一種基于已對齊詞的窗口匹配算法，實現(xiàn)了名詞短語的對齊。將由GAZA++詞對齊得到的短語翻譯作為中文短語的初始翻譯，利