基于統(tǒng)計學習的中文組塊分析技術研究.pdf

1、隨著網(wǎng)絡時代的來臨和自然語言處理技術在處理大量網(wǎng)絡信息文本中的廣泛應用，自動、高效的中文組塊分析技術作為淺層句法分析的代表，成為了對信息進行處理與理解的關鍵技術，對于語言信息處理領域及其相關應用領域的研究具有重要的理論意義和應用價值。
　　大規(guī)模自然語言文本的獲取技術、機器學習方法和模型、以及語料庫語言學的逐漸發(fā)展和成熟，使得人們可以獲得大量的帶標記的文本和數(shù)據(jù)，并能夠利用機器學習方法建立分析模型，對文本進行自動化的處理和標注。本

2、文采用基于統(tǒng)計的機器學習方法，在建立中文組塊語料庫的基礎上，研究了統(tǒng)計機器學習方法在組塊分析中的應用，提出了可以幫助模型進行有效識別的新特征，并將其融合到分析模型中，提升了中文組塊分析的性能，最終建立了具有詞法分析和組塊分析功能的一體化分析模型。本文研究的主要內(nèi)容包含以下四個部分：
　　第一，對于中文組塊的定義和語料庫建設方法進行研究，建立了三種基于不同要求和構建方法的中文組塊分析語料庫。第一種語料庫構建方法抽取了句法樹庫中的最底

3、層非終結(jié)節(jié)點作為組塊，其可以作為完全句法分析的第一步分析使用；第二種語料庫構建方法采用對于中文句法樹庫進行抽取和轉(zhuǎn)化的方法，設計和確定了組塊抽取規(guī)則、轉(zhuǎn)化規(guī)則和剪枝規(guī)則，并建立了中文Chunklink語料生成算法，從賓州大學中文句法樹庫中抽取中文組塊分析語料；第三種語料庫構建方法采用人工標注的方式，建立了中文組塊標注體系，在語言學家的指導下人工標注了專用于組塊分析任務的語料庫。采用不同方式進行組塊語料庫建設，可以使得模型針對于不同的需求

4、應用合適的組塊分析語料庫。
　　第二，對于組塊分析模型方法進行研究。利用組塊的邊界標記和類型標記將組塊分析問題轉(zhuǎn)化成為序列化標注問題，提出了基于統(tǒng)計規(guī)則和產(chǎn)生式模型的組塊分析方法；對最大熵馬爾科夫模型進行了改進，使其適合組塊分析任務，并提出了基于判別式模型的組塊分析方法。在上述模型基礎上提出了基于條件隨機域模型的組塊分析方法，克服了產(chǎn)生式模型和判別式模型的不足。重點研究了條件隨機域模型訓練方法，構建了模型的特征模板和系統(tǒng)框架，并分

5、析了條件隨機域模型在解決組塊分析問題中體現(xiàn)出的融合不同類型的特征進行序列化標注的優(yōu)勢。引入錯誤驅(qū)動的N-fold模板糾正后處理算法進行后處理，進一步提升分析模型的性能。
　　第三，對于組塊分析模型中的特征選取問題進行研究。對于判別式模型中應用的特征類型及特征抽取方法進行分析，并從特征的不同應用效果中，研究了一般常用特征對于組塊分析的影響。重點研究了將新的分析特征融入到分析模型中以提升組塊分析性能。針對模型性能提升的瓶頸，設計了基于

6、最小描述長度原則結(jié)合概念相似度計算的語義類自動抽取算法，將基于語義詞典生成的語義類特征引入分析模型，證明了語義類特征能夠有效地提升分析性能。針對自動詞性標注的錯誤對組塊分析帶來的級聯(lián)錯誤影響，設計了基于信息熵理論和層次聚類算法生成的詞類特征，和基于先驗類劃分算法生成的詞類特征，并將它們?nèi)谌氲椒治瞿Ｐ椭小煞N組塊分析任務驅(qū)動的詞類特征是從語料庫中直接生成，其對于組塊標記具有更強的預測能力，而且能夠有效地避免自動詞性標注帶來的不良影響。

7、r>　　第四，對于組塊分析的一體化模型建立問題進行研究。在建立組塊分析語料庫、分析模型的基礎上，提出了雙層條件隨機域模型的組塊分析一體化模型，模型將自動詞性標注的N個最佳的結(jié)果輸入到組塊分析模型中，在一定程度上抑制了自動詞性標注錯誤在組塊分析中的傳播和不良影響，提升了模型的性能。重點研究了利用任務驅(qū)動的新詞類特征代替原有的自動詞性標記特征，并在名實體識別和仿詞識別的基礎上，構建新的組塊分析一體化模型，避免了自動詞性標注帶來的級聯(lián)錯誤，提