無指導(dǎo)學(xué)習(xí)下基于修正詞頻庫的分詞方法研究.pdf

1、漢語自動分詞是中文信息處理中的一項(xiàng)基礎(chǔ)性課題，同時也是智能化中文信息處理的關(guān)鍵所在。與此同時，隨著WWW的蓬勃興起以及電子出版物的大行其道，對漢語自動分詞研究又提出了一系列新的課題。如何增強(qiáng)分詞系統(tǒng)在開放環(huán)境下的適應(yīng)性和健壯性，則成為主要的研究目標(biāo)。無指導(dǎo)學(xué)習(xí)下基于修正詞頻庫的分詞方法研究，正是針對這一問題而提出的。 本文主要研究內(nèi)容及取得成果包括如下幾個方面： ①通過引入修正詞頻庫，提出了一種詞頻參數(shù)無指導(dǎo)自動學(xué)習(xí)機(jī)制

2、，突破了傳統(tǒng)基于詞典或訓(xùn)練語料的詞頻參數(shù)獲取的束縛，增強(qiáng)系統(tǒng)在開放環(huán)境下處理真實(shí)文本的能力，實(shí)現(xiàn)了對知識靜態(tài)的重組和動態(tài)的學(xué)習(xí)，使系統(tǒng)實(shí)現(xiàn)自適應(yīng)地最優(yōu)化。并給出了一種新的分詞系統(tǒng)模型框架。 ②采用基于修正詞頻庫的學(xué)習(xí)機(jī)制，并引入訓(xùn)練語料和待切分文本的詞頻信息，提出了一種基于上下文的n-最大概率切分方法。該方法采用了統(tǒng)計(jì)模型，克服了傳統(tǒng)詞典和訓(xùn)練語料的局限性，增強(qiáng)了系統(tǒng)處理真實(shí)文本的能力；同時能更有效地得到數(shù)量較少、召回率較高的候

3、選切分結(jié)果集。 ③針對未登錄詞識別問題，在傳統(tǒng)的互信息統(tǒng)計(jì)量和t-測試差統(tǒng)計(jì)量的基礎(chǔ)上，將二者通過線性與非線性組合，提出了一個新統(tǒng)計(jì)量(組合統(tǒng)計(jì)量)，并給出了一種子圖提取技術(shù)。實(shí)驗(yàn)表明，統(tǒng)計(jì)量與子圖提取技術(shù)有利于未登錄詞的有效識別。進(jìn)而結(jié)合 統(tǒng)計(jì)量及子圖提取技術(shù)，提出了一種未登錄詞識別方法。 ④將未登錄詞識別方法與基于上下文的n-最大概率切分方法結(jié)合，提出了一種新的分詞算法。并且基于國內(nèi)普遍采用的語料庫（人民日報(bào)98年1