基于Helmholtz原理的中文新詞識(shí)別.pdf

1、在新詞識(shí)別領(lǐng)域，研究者的研究階段處于有效的新詞特征挖掘和新詞檢測模型選擇?，F(xiàn)有的新詞特征主要包括語言知識(shí)特征和統(tǒng)計(jì)特征。常用的語言知識(shí)特征有前后綴、串長，統(tǒng)計(jì)特征有詞頻、互信息、左熵、右熵、色子矩陣(Dice)。新詞，為何新？“新”可以跟時(shí)間對(duì)比，在某個(gè)時(shí)間點(diǎn)之前新詞從未出現(xiàn)過，這個(gè)時(shí)間點(diǎn)后新詞出現(xiàn)了，并被人們廣泛使用，但新詞出現(xiàn)的這個(gè)時(shí)間點(diǎn)很模糊，無法具體界定。針對(duì)新詞時(shí)間分布特性難以描述的問題，本文提出一種量化新詞時(shí)間分布特性的方法

2、，并用于新詞檢測。
　　本文采用候選新詞詞頻與Helmholtz原理相結(jié)合來量化新詞的時(shí)間分布特性。詞頻體現(xiàn)人們某段時(shí)間對(duì)某個(gè)詞的使用頻度，本文將詞的時(shí)間分布特性量化為語料中文檔詞的詞頻分布。Helmholtz原理觀察事件是否遠(yuǎn)偏離事件發(fā)生的隨機(jī)分布，如果事件觀察結(jié)果明顯偏離隨機(jī)分布，則該事件是有意義的。文檔詞的詞頻分布是Helmholtz原理的觀察對(duì)象，新詞在連續(xù)時(shí)間段內(nèi)從無到出現(xiàn)，然后被廣為傳播使用表現(xiàn)為新詞的詞頻劇增，相比于

3、詞典詞的詞頻分布，候選新詞的詞頻分布可能會(huì)被Helmholtz原理觀察為偏離隨機(jī)分布的事件。
　　本文解決了時(shí)間分布特性量化的難題，并用于新詞檢測。在實(shí)驗(yàn)階段，采用支持向量機(jī)(SVM)作為新詞檢測模型，融合互信息、左熵、右熵、Dice的組合特征做實(shí)驗(yàn)的Baseline，新詞識(shí)別準(zhǔn)確率為85.6093％。在Baseline的基礎(chǔ)上，新詞特征增加串長、詞頻，新詞識(shí)別的準(zhǔn)確率為87.5328％。在此基礎(chǔ)上，新詞特征增加以詞頻與Helmh