基于條件隨機場的漢語多詞塊自動識別研究.pdf

1、漢語多詞塊作為組塊體系的重要組成部分，是由兩個或兩個以上的詞語按照一定的關(guān)聯(lián)關(guān)系組合形成的信息描述單位。多詞塊主要包括句法信息、關(guān)系信息和序列標(biāo)記組合信息。漢語多詞塊識別不僅可以在一定程度上簡化完全句法分析，而且有利于多詞塊信息在大規(guī)模真實任務(wù)中得到應(yīng)用。
　　本文的任務(wù)是在給定一個已經(jīng)完成分詞和詞性標(biāo)注的句子后，自動識別出該句子中所有的漢語多詞塊，從中獲得各種塊標(biāo)記信息。本文引進條件隨機場，它是一個用于標(biāo)記和分割數(shù)據(jù)的無向圖模型

2、，能夠避免嚴(yán)格的獨立性假設(shè)和標(biāo)記偏置問題，同時利用條件隨機場在序列標(biāo)注任務(wù)中表現(xiàn)出的良好性能，構(gòu)建了漢語多詞塊的自動識別模型并對模型進行了融合處理。主要工作如下:
　　(1)多詞塊自動識別模型的構(gòu)建
　　在漢語多詞塊描述體系的基礎(chǔ)上，以清華大學(xué)的“漢語多詞塊庫”作為語料來源，構(gòu)建了基于條件隨機場的兩個標(biāo)記標(biāo)注模型，即:“句法標(biāo)記標(biāo)注模型”和“序列標(biāo)記標(biāo)注模型”。在句法標(biāo)記標(biāo)注模型中，采用IOB2邊界標(biāo)注策略，將句法標(biāo)記的標(biāo)注

3、看作是一個序列標(biāo)注任務(wù)，通過為句子的每個詞語賦予一個句法標(biāo)記，自動標(biāo)注出該句子的所有多詞塊邊界標(biāo)記及其句法標(biāo)記;在序列標(biāo)記標(biāo)注模型中，多詞塊中的序列標(biāo)記跟其塊內(nèi)每個詞之間存在一一對應(yīng)關(guān)系，通過對多詞塊中每個詞進行自動標(biāo)注，得到其對應(yīng)的序列標(biāo)記。
　　(2)多詞塊自動識別模型的融合處理
　　針對上述兩種模型，分別設(shè)計了一系列實驗。特征選取主要基于單個詞及其詞性、多個詞的組合及其詞性的組合、狀態(tài)轉(zhuǎn)移特征。在對實驗結(jié)果進行有效融合