基于上下文感知的中文新詞識(shí)別技術(shù)研究.pdf

1、語(yǔ)言作為社會(huì)的晴雨表,生動(dòng)而真實(shí)地記錄了人類(lèi)文明進(jìn)步的歷程。社會(huì)的不斷進(jìn)步,網(wǎng)絡(luò)的飛速發(fā)展,以及新鮮事物的不斷涌現(xiàn),為新詞的出現(xiàn)墊定了堅(jiān)實(shí)的基礎(chǔ)。新詞大多反映新事物以及社會(huì)中的新現(xiàn)象,也折射人們思想觀念的變化歷程。新詞的出現(xiàn),更好地促進(jìn)了詞匯系統(tǒng)的豐富和發(fā)展,帶有鮮明的時(shí)代烙印;也使人們的交流更加方便、生動(dòng)和形象;同時(shí)卻給中文信息處理中的基礎(chǔ)技術(shù)工作——自動(dòng)分詞帶來(lái)了困難,如何有效地識(shí)別這些新詞,已經(jīng)成為中文自動(dòng)分詞的一個(gè)瓶頸。

2、　　 以印歐語(yǔ)言為代表的一些以字母符號(hào)為基準(zhǔn)的語(yǔ)言,詞與詞之間有空格等天然的分界,而中文卻沒(méi)有這樣的分界符,且其中的每個(gè)漢字都具有很強(qiáng)的構(gòu)詞能力,即任何幾個(gè)相鄰的漢字序列都有成詞的可能性,這也是中文新詞自動(dòng)識(shí)別最主要的困難。本文在分析新詞的產(chǎn)生方式、特征以及分布規(guī)律的基礎(chǔ)之上,提出了一種基于上下文感知的新詞識(shí)別算法。
　　 為了保證語(yǔ)料的時(shí)效性,本文首先采用網(wǎng)絡(luò)蜘蛛來(lái)獲取網(wǎng)絡(luò)文本內(nèi)容作為語(yǔ)料庫(kù)的來(lái)源。根據(jù)Web網(wǎng)頁(yè)的結(jié)構(gòu)特征,

3、以DOM樹(shù)的形式存放由網(wǎng)絡(luò)蜘蛛獲取的網(wǎng)頁(yè),進(jìn)而依據(jù)標(biāo)簽來(lái)提取文本內(nèi)容,構(gòu)建語(yǔ)料庫(kù)。其次,分析現(xiàn)有新詞識(shí)別方法的特點(diǎn),找出其優(yōu)點(diǎn)和劣勢(shì),結(jié)合新詞在語(yǔ)料中的數(shù)量分布以及字長(zhǎng)等特征,采用N元模型(N-Gram)的思想,并對(duì)其進(jìn)行改進(jìn),獲得重復(fù)率高的候選詞串。再將局部匹配預(yù)測(cè)(PPM)的思想,運(yùn)用到新詞的識(shí)別中,對(duì)候選的詞串建立上下文預(yù)測(cè)模型,根據(jù)該預(yù)測(cè)模型對(duì)新詞作進(jìn)一步地識(shí)別。然后,分析當(dāng)前替換算法的特點(diǎn),采用LRU算法對(duì)詞庫(kù)進(jìn)行更新,從而豐