基于條件隨機(jī)場(chǎng)的中文分詞研究.pdf

1、分詞是中文自然語(yǔ)言處理的基本問(wèn)題。很多自然語(yǔ)言處理任務(wù)都建立在分詞的基礎(chǔ)之上，分詞的準(zhǔn)確程度直接影響到一系列后續(xù)處理的正確性。但由于漢語(yǔ)自身的復(fù)雜性，分詞問(wèn)題一直是中文自然語(yǔ)言處理的難題。 條件隨機(jī)場(chǎng)是一種無(wú)向圖模型，它具有產(chǎn)生式模型和最大熵馬爾可夫模型的優(yōu)點(diǎn)。既可以利用任意上下文特征，并對(duì)這些特征進(jìn)行訓(xùn)練；又可以通過(guò)折衷不同位置的不同特征值的方法獲得全局最優(yōu)的標(biāo)記結(jié)果。 基于統(tǒng)計(jì)的中文分詞按照分類單位劃分，通?？煞譃榛?/p>

2、于漢字標(biāo)注的分詞和基于全切分圖的分詞兩種方法。目前，條件隨機(jī)場(chǎng)方法主要應(yīng)用于基于漢字標(biāo)注的分詞問(wèn)題研究，但這種方法不能有效地利用詞匯信息。本文對(duì)基于條件隨機(jī)場(chǎng)的中分分詞理論和技術(shù)做了研究，并實(shí)現(xiàn)了一個(gè)基于全切分圖的條件隨機(jī)場(chǎng)分詞訓(xùn)練和測(cè)試系統(tǒng)。由于漢語(yǔ)的詞之間沒(méi)有明顯的邊界標(biāo)記，所以無(wú)法直接用條件隨機(jī)場(chǎng)進(jìn)行分詞模型的訓(xùn)練和測(cè)試。本文使用構(gòu)建起始詞矩陣和結(jié)束詞矩陣的方法，來(lái)輔助構(gòu)建基于全切分圖的條件隨機(jī)場(chǎng)模型。本文使用機(jī)器學(xué)習(xí)方法訓(xùn)練基于