利用部分標注數(shù)據(jù)提高中文分詞準確率的研究.pdf

1、近幾年，統(tǒng)計中文分詞已經(jīng)成為學術界研究的主流并且在標注數(shù)據(jù)豐富的新聞領域取得了很好的性能。但是，在非新聞領域，特別是標注數(shù)據(jù)較少的領域，統(tǒng)計中文分詞的性能仍舊差強人意。人工標注的分詞數(shù)據(jù)較難獲得，同時互聯(lián)網(wǎng)上有大量含有潛在切分信息的數(shù)據(jù)，比如詞典、百科知識庫的。為了利用這些數(shù)據(jù)提高統(tǒng)計中文分詞在非新聞領域的性能，本文采用不同的方法將不同類型的數(shù)據(jù)使用一種統(tǒng)一的形式——部分標注數(shù)據(jù)進行表示。本文使用三種不同的統(tǒng)計分詞模型對完整標注和部分標

2、注數(shù)據(jù)同時進行建模，他們分別是：基于字的結構化感知器模型，基于詞的結構化感知器模型以及基于字的條件隨機場模型。本文在中文賓州樹庫（CTB）訓練數(shù)據(jù)上構造部分標注數(shù)據(jù)并進行實驗比較三種模型的性能。實驗表明，三種模型都能夠利用部分標注數(shù)據(jù)獲得中文分詞性能的提升，而基于字的條件隨機場模型提升效果最大。同時，本文在網(wǎng)絡小說測試數(shù)據(jù)以及SIGHAN Bakeoff2010領域適應分詞評測數(shù)據(jù)上進行實驗，分析本文構造的部分標注數(shù)據(jù)對于統(tǒng)計中文分詞在