基于詞的屬性的消歧與統(tǒng)計(jì)分析的研究.pdf

1、隨著網(wǎng)絡(luò)的發(fā)展，數(shù)字化信息迅速增加，人們對(duì)中文信息的處理也越來越關(guān)注，同時(shí)，現(xiàn)代漢語信息的處理和研究也顯得尤為重要，計(jì)算機(jī)自動(dòng)分詞是現(xiàn)代漢語信息處理的重要組成部分，也是基礎(chǔ)的工作。衡量一個(gè)分詞算法或分詞系統(tǒng)的優(yōu)劣主要在于分詞的正確率和速度。其中，分詞的正確率尤為重要。我們認(rèn)為影響分詞正確率的因素有兩個(gè)：(1)歧義切分問題；(2)漢語姓名、地名、機(jī)關(guān)名等專有名詞。對(duì)于詞庫的分詞方法而言，影響分詞的速度主要因素在于：（1)詞庫的規(guī)模和結(jié)構(gòu)；

2、（2)匹配選詞的實(shí)現(xiàn)技術(shù)。因此，選擇一個(gè)適當(dāng)?shù)姆衷~方法，并用必要的手段解決切分難點(diǎn)是提高分詞系統(tǒng)正確率和分詞速度的關(guān)鍵。常用的分詞方法主要有機(jī)械匹配法，如最大匹配法、逐詞匹配法等等；語義分詞法，如綜合匹配法、語法分析法等。 首先對(duì)語料庫的建立進(jìn)行介紹，用到的語料主要來自人民日?qǐng)?bào)語料庫，由于在進(jìn)行歧義消除的時(shí)候需要用到詞的屬性，所以在建立語料庫的物理庫時(shí)需要對(duì)詞性進(jìn)行標(biāo)注。要建立一個(gè)基礎(chǔ)詞庫，即所有的語料都會(huì)存儲(chǔ)在基礎(chǔ)詞庫中，消除

3、歧義的過程中用到的屬性詞庫有：名詞、形容詞、副詞、動(dòng)詞、介詞、連詞、數(shù)量詞、方位詞等。另外在分詞過程中還用到了臨時(shí)詞庫，增加臨時(shí)詞庫主要為了提高分詞效率。又對(duì)現(xiàn)有的分詞方法和消除歧義的方法做了介紹，列舉出當(dāng)前比較流行的分詞方法和消除歧義的方法，然后詳細(xì)說明了本文的實(shí)現(xiàn)方法，采用的是正向增字最大匹配和逆向減字最大匹配相結(jié)合的方法。因?yàn)樵鲎诌^程可以獲得很多信息，特別是字段的結(jié)構(gòu)信息，對(duì)于知識(shí)處理有利。而減字最大匹配是由長(zhǎng)到短依次進(jìn)行的，見到

4、詞的字段即切分出來，對(duì)于切分比較長(zhǎng)的詞有利，為后續(xù)的知識(shí)提供整體信息。用這兩種方法相結(jié)合，對(duì)于長(zhǎng)詞和短詞都可以切分出來。對(duì)于出現(xiàn)歧義的情況再進(jìn)行消除，在解決歧義的問題上，采用的解決交集型歧義的方法是根據(jù)詞的屬性，利用詞法搭配規(guī)則進(jìn)行消除歧義，對(duì)于組合型歧義我們對(duì)各種經(jīng)常出現(xiàn)的詞性分別做了相應(yīng)的解決辦法，如果這些方法未能生效，則采用統(tǒng)計(jì)分析的方法進(jìn)行處理，即將文章中任意個(gè)數(shù)的字(小于等于規(guī)定最長(zhǎng)詞長(zhǎng)L)同時(shí)出現(xiàn)的頻率進(jìn)行統(tǒng)計(jì)，出現(xiàn)次數(shù)越高