基于上下文感知的中文新詞識別技術(shù)研究.pdf

1、語言作為社會的晴雨表,生動而真實地記錄了人類文明進步的歷程。社會的不斷進步,網(wǎng)絡(luò)的飛速發(fā)展,以及新鮮事物的不斷涌現(xiàn),為新詞的出現(xiàn)墊定了堅實的基礎(chǔ)。新詞大多反映新事物以及社會中的新現(xiàn)象,也折射人們思想觀念的變化歷程。新詞的出現(xiàn),更好地促進了詞匯系統(tǒng)的豐富和發(fā)展,帶有鮮明的時代烙印;也使人們的交流更加方便、生動和形象;同時卻給中文信息處理中的基礎(chǔ)技術(shù)工作——自動分詞帶來了困難,如何有效地識別這些新詞,已經(jīng)成為中文自動分詞的一個瓶頸。

2、　　 以印歐語言為代表的一些以字母符號為基準的語言,詞與詞之間有空格等天然的分界,而中文卻沒有這樣的分界符,且其中的每個漢字都具有很強的構(gòu)詞能力,即任何幾個相鄰的漢字序列都有成詞的可能性,這也是中文新詞自動識別最主要的困難。本文在分析新詞的產(chǎn)生方式、特征以及分布規(guī)律的基礎(chǔ)之上,提出了一種基于上下文感知的新詞識別算法。
　　 為了保證語料的時效性,本文首先采用網(wǎng)絡(luò)蜘蛛來獲取網(wǎng)絡(luò)文本內(nèi)容作為語料庫的來源。根據(jù)Web網(wǎng)頁的結(jié)構(gòu)特征,

3、以DOM樹的形式存放由網(wǎng)絡(luò)蜘蛛獲取的網(wǎng)頁,進而依據(jù)標簽來提取文本內(nèi)容,構(gòu)建語料庫。其次,分析現(xiàn)有新詞識別方法的特點,找出其優(yōu)點和劣勢,結(jié)合新詞在語料中的數(shù)量分布以及字長等特征,采用N元模型(N-Gram)的思想,并對其進行改進,獲得重復(fù)率高的候選詞串。再將局部匹配預(yù)測(PPM)的思想,運用到新詞的識別中,對候選的詞串建立上下文預(yù)測模型,根據(jù)該預(yù)測模型對新詞作進一步地識別。然后,分析當前替換算法的特點,采用LRU算法對詞庫進行更新,從而豐