中文整句智能輸入方法研究.pdf

1、自從計(jì)算機(jī)進(jìn)入我國(guó)，面臨的首要問(wèn)題是中文輸入問(wèn)題。經(jīng)過(guò)20多年的研究，中文的鍵盤(pán)輸入從最初的單字輸入、詞語(yǔ)輸入，發(fā)展到整句輸入，使得輸入法越來(lái)越具有智能性，能夠借助語(yǔ)言的特性提高輸入法的性能。中文整句智能輸入，實(shí)際上是將輸入碼轉(zhuǎn)換成候選的中文字詞，然后根據(jù)中文的習(xí)慣，選出最大可能的候選語(yǔ)句作為最終的結(jié)果。它具有連續(xù)輸入、不打斷用戶(hù)思路等優(yōu)點(diǎn)，但是整句轉(zhuǎn)換正確率不高，修改起來(lái)比較麻煩，且占用系統(tǒng)資源，使用中不盡人意。本文以拼音輸入為例，研

2、究輸入法的整句實(shí)現(xiàn)，根本目的在于給S&R中文筆畫(huà)智能輸入法增加整句功能，使其在競(jìng)爭(zhēng)激烈的輸入法領(lǐng)域占有一席之地。 中文整句智能輸入問(wèn)題可以使用信息論中的信源．信道模型進(jìn)行描述。假設(shè)信源以概率p(S)生成語(yǔ)句S，噪聲信道根據(jù)p(A|S)把文本的句子轉(zhuǎn)換為拼音序列A。中文整句智能輸入問(wèn)題是根據(jù)給定噪聲信道輸出的拼音序列A，還原原始文本句子S，即選擇具有最大后驗(yàn)概率p(S|A)作為輸出結(jié)果。因此可以采用統(tǒng)計(jì)的方法實(shí)現(xiàn)中文整句智能輸入。

3、在N-gram模型中，把自然語(yǔ)言看成一個(gè)離散的馬爾可夫模型，假設(shè)當(dāng)前詞的出現(xiàn)概率僅與前n-1個(gè)詞有關(guān)，而與其他任何詞都不相關(guān)?？紤]到中文整句智能輸入的系統(tǒng)實(shí)時(shí)性要求，采用二元模型。本文使用SRILM統(tǒng)計(jì)語(yǔ)言工具包進(jìn)行了語(yǔ)料庫(kù)一元組和二元組的統(tǒng)計(jì)，按照首字區(qū)位碼進(jìn)行排序，二分查找，有效的建立了便于搜索的統(tǒng)計(jì)語(yǔ)言模型。 中文整句拼音智能輸入系統(tǒng)包括拼音預(yù)處理模塊、狀態(tài)空間生成模塊和機(jī)器學(xué)習(xí)模塊。拼音預(yù)處理模塊采用最少分詞算法將輸入的

4、連續(xù)拼音流進(jìn)行切分，輸出一個(gè)離散的拼音音節(jié)序列，送入狀態(tài)空間生成模塊。狀態(tài)空間生成模塊根據(jù)輸入的音節(jié)構(gòu)造狀態(tài)空間，插入對(duì)應(yīng)的候選字詞節(jié)點(diǎn)，在插入的同時(shí)，利用Viterbi動(dòng)態(tài)規(guī)劃算法，將通用語(yǔ)言模型和用戶(hù)語(yǔ)言模型通過(guò)加權(quán)結(jié)合起來(lái)，計(jì)算累積概率，最后由狀態(tài)空間模型回溯算法得到最優(yōu)語(yǔ)句候選。狀態(tài)空間生成模塊輸出的句子經(jīng)過(guò)用戶(hù)的聯(lián)機(jī)修正成為正確的句子。該模塊修改用戶(hù)學(xué)習(xí)的二元統(tǒng)計(jì)庫(kù)的概率值，進(jìn)行記憶學(xué)習(xí)，從而使系統(tǒng)的自適應(yīng)能力越用越好。在狀態(tài)

5、空間模型中，對(duì)于插入操作，即用戶(hù)在原來(lái)輸入的基礎(chǔ)上接著又輸入一個(gè)拼音，這時(shí)只需對(duì)新增的拼音節(jié)點(diǎn)與前面的拼音節(jié)點(diǎn)可能產(chǎn)生的所有字詞候選節(jié)點(diǎn)進(jìn)行累積概率計(jì)算，插入到狀態(tài)空間模型中，對(duì)于前面已插入的節(jié)點(diǎn)無(wú)需任何處理。對(duì)于刪除操作，則更加方便，只需直接刪除與拼音節(jié)點(diǎn)相關(guān)的候選字詞節(jié)點(diǎn)即可。而當(dāng)?shù)竭_(dá)用戶(hù)輸入邊界，可以依賴(lài)右指針域指向尾節(jié)點(diǎn)的候選字詞節(jié)點(diǎn)累積概率最大者的父指針?lè)奖愕幕厮菡业阶顑?yōu)語(yǔ)句?；谝陨系目蚣鼙疚膶?shí)現(xiàn)了一個(gè)基本的拼音整句輸入法，

6、利用網(wǎng)絡(luò)上公布的有限資源，即切分好的1998年1月份《人民日?qǐng)?bào)》作為統(tǒng)計(jì)語(yǔ)言模型的訓(xùn)練文本，采用線(xiàn)性插值平滑方法，測(cè)試數(shù)據(jù)取自自然語(yǔ)言處理平臺(tái)上的文本分類(lèi)語(yǔ)料庫(kù)，領(lǐng)域涉及藝術(shù)、文學(xué)、教育、哲學(xué)、通訊、航空、能源、電子、醫(yī)藥、農(nóng)業(yè)等，其整句的平均字轉(zhuǎn)換正確率達(dá)到83.81％。為進(jìn)一步提高轉(zhuǎn)換的正確率，在統(tǒng)計(jì)中融入了語(yǔ)言知識(shí)，例如長(zhǎng)詞優(yōu)先原則、部分語(yǔ)法規(guī)則等，平均字轉(zhuǎn)換正確率提高到85.42％。 利用狀態(tài)空間模型解決了拼音串切分歧義

7、問(wèn)題。拼音串如果不含分隔符號(hào)，則有可能存在歧義，采用一般的切分算法只能保留一種切分結(jié)果，而利用狀態(tài)空間模型，可以將所有歧義組合均保留下來(lái)，參與整句拼音轉(zhuǎn)換的競(jìng)爭(zhēng)，得到全局最優(yōu)解，而不會(huì)因?yàn)榍蟹皱e(cuò)誤較早的將正確答案排除在外。為避免多次構(gòu)造狀態(tài)空間模型，進(jìn)一步提出基于音素的整句實(shí)現(xiàn)方法，將音節(jié)切分融入整句轉(zhuǎn)換之中，仍然使用狀態(tài)空間模型，只不過(guò)每次插入的是一個(gè)音素，而不是切分好的音節(jié)，對(duì)插入的音素節(jié)點(diǎn)，往前搜索，直接將該音素與前面已經(jīng)輸入的音

8、素能組合形成的所有拼音串對(duì)應(yīng)的候選字詞插入狀態(tài)空間，參與整句轉(zhuǎn)換，通過(guò)構(gòu)造一次狀態(tài)空間模型得到全局最優(yōu)解。 最后還設(shè)計(jì)了本輸入法和微軟拼音輸入法的測(cè)試程序，對(duì)二者的整句功能進(jìn)行測(cè)試對(duì)比，不斷查找轉(zhuǎn)換錯(cuò)誤的原因，對(duì)本輸入法進(jìn)行改進(jìn)。 本文的主要工作： (1)在沒(méi)有任何原始積累的條件下，利用有限的資源構(gòu)造了統(tǒng)計(jì)語(yǔ)言模型； (2)在實(shí)現(xiàn)拼音字詞輸入法基礎(chǔ)上，利用狀態(tài)空間模型實(shí)現(xiàn)了整句輸入功能，其轉(zhuǎn)換正確率已基本