基于條件隨機(jī)場(chǎng)模型的新詞發(fā)現(xiàn)系統(tǒng)研究與實(shí)現(xiàn).pdf

1、新詞發(fā)現(xiàn)是自然語(yǔ)言處理領(lǐng)域一個(gè)非常重要的課題。它對(duì)詞典構(gòu)造及分詞系統(tǒng)的性能有著很大的影響。但由于漢語(yǔ)自身的復(fù)雜性，新詞發(fā)現(xiàn)問(wèn)題一直是中文自然語(yǔ)言處理的難題。
　　條件隨機(jī)場(chǎng)是一種無(wú)向圖模型，它具有產(chǎn)生式模型和最大熵馬爾可夫模型的優(yōu)點(diǎn)。既可以利用任意上下文特征，并對(duì)這些特征進(jìn)行訓(xùn)練；又可以通過(guò)折衷不同位置的不同特征值的方法獲得全局最優(yōu)的標(biāo)記結(jié)果。
　　本文使用了條件隨機(jī)場(chǎng)模型進(jìn)行中文新詞發(fā)現(xiàn)，并提出了兩項(xiàng)改進(jìn)：漢字粗標(biāo)記和非法

2、狀態(tài)識(shí)別。加入這兩項(xiàng)改進(jìn)，能夠?qū)⑽吹卿浽~的召回率提高15％。這也是新詞發(fā)現(xiàn)系統(tǒng)最重要的評(píng)價(jià)指標(biāo)。而反饋庫(kù)的加入，也將系統(tǒng)的準(zhǔn)確率提高了30%。
　　本文的研究?jī)?nèi)容主要包括以下幾個(gè)方面：
　　1)使用條件隨機(jī)場(chǎng)模型進(jìn)行新詞發(fā)現(xiàn)工作，并對(duì)原始的條件隨機(jī)場(chǎng)模型進(jìn)行了改進(jìn)，使用了漢字粗標(biāo)記和非法狀態(tài)識(shí)別的技術(shù)。
　　2)為了保證詞典的準(zhǔn)確，系統(tǒng)加入了搜索引擎輔助篩選和人工篩選功能。
　　3)加入反饋系統(tǒng)，能夠?qū)⒔?jīng)過(guò)篩選的