漢語句法分析的重排序技術(shù)研究.pdf

1、近年來,隨著網(wǎng)絡的發(fā)展,現(xiàn)代人對信息溝通和處理的需求越來越迫切,這使得自然語言處理以及相關的應用領域得到了迅速的發(fā)展。而由于句法分析在自然語言處理研究中的關鍵地位及其在各種應用上的光明前景,本文對漢語的句法分析進行了深入的探討和研究,并且由于重排序方法在提高句法分析性能上的有效性,因此本文把對重排序方法的研究作為本文的主要研究內(nèi)容。具體的工作如下:
　　首先,本文對當前主流的句法分析模型進行了介紹,并且在賓州中文樹庫CTB5.0上

2、進行了實驗,測試比較了不同句法分析模型的性能。根據(jù)對實驗結(jié)果的分析本文探討了不同構(gòu)建模型的方法以及不同模型對句法分析的影響,而這些影響主要體現(xiàn)在對信息的融合,對訓練語料的要求,以及對最終句法分析的性能和效率上。
　　其次,本文應用了不同的句法分析模型作為初始模型來進行句法分析的重排序?qū)嶒?其中初始模型分別采用了概率上下文無關文法(PCFG)模型, Stanford-1模型以及 Berkeley模型,而對于影響重排序性能的兩個重要因

3、素:特征表示和參數(shù)訓練,本文進行了如下的設置,特征表示方面,本文主要參考了Collins在他的文章中給出的特征集并進行了稍微的改動,而參數(shù)訓練方面則采用了最大熵方法作為訓練方法。另外本文進一步探討了不同類型特征對實驗結(jié)果的影響,分析結(jié)果表明重排序模型中的特征選擇應考慮初始模型的影響。
　　最后,在對傳統(tǒng)重排序方法研究的基礎上,本文發(fā)現(xiàn)現(xiàn)有的重排序方法對于N-best候選樹中所蘊含的信息并沒有充分利用,因此針對性地進行了改進并通過相

4、應實驗進行了驗證。具體的說,在傳統(tǒng)的重排序方法中,常常將重排序映射為一個分類問題,而指導訓練分類參數(shù)的代價函數(shù)常常設置為使N-best候選句法分析樹中的排名第一的句法分析樹和其他句法分析樹之間的邊界距離(Margin)最大。但是本文發(fā)現(xiàn),在實際情況中,句法分析樹之間的順序是根據(jù)該句法樹與標準樹的相似度值來排序的,也就是說,不同的句法分析樹之間沒有“質(zhì)”的差異,只有“量”的差異,而在傳統(tǒng)的方法中卻常常忽視這一信息。針對此問題,本文提出了兩

5、種改進模型:基于相對距離的分割模型和基于多類融合的模型。并且利用這兩種模型在PCFG模型作為初始模型的基礎上進行了實驗。實驗結(jié)果表明,改進模型使得句法分析的性能有了進一步的提高,在用PCFG作為初始模型的基礎上,改進模型比傳統(tǒng)的重排序技術(shù)又提高了0.9個百分點左右。
　　另外,本文實現(xiàn)了一個多種顯示模式的句法分析樹可視化系統(tǒng),該系統(tǒng)提供了三種主要的顯示模式來對句法分析樹進行展示,分別是“短語模式”,“依存模式”,“骨架模式”。除了