基于網(wǎng)絡(luò)資源的未登錄詞擴(kuò)展研究.pdf

1、漢語文本都是由一個(gè)個(gè)詞語構(gòu)成的，從而對(duì)中文詞語的處理是中文信息領(lǐng)域最為基礎(chǔ)性的研究課題[1]。隨著互聯(lián)的不斷普及和發(fā)展，日常生活中不停地涌現(xiàn)出一些詞典里面未曾收錄的新詞，也稱為未登錄詞，從語料庫中發(fā)現(xiàn)并提取出這些未登錄詞，可以豐富人類的語言詞典，同時(shí)也可以提高計(jì)算機(jī)識(shí)別漢語的能力。未登錄詞本身沒有一定的規(guī)律，也沒有統(tǒng)一的標(biāo)準(zhǔn)來定義它，因此，能夠較準(zhǔn)確地識(shí)別未登錄詞已經(jīng)是中文分詞領(lǐng)域的一大重點(diǎn)研究課題，同時(shí)也是至今難以突破一大難點(diǎn)。本文是

2、借助網(wǎng)絡(luò)資源對(duì)篩選的未登錄詞再一次進(jìn)行遞歸擴(kuò)展，從而獲得不限長(zhǎng)度、語義更加完整的未登錄詞，提高了中文分詞中未登錄詞識(shí)別的效率。主要研究?jī)?nèi)容有以下幾個(gè)方面：
　　 (1)系統(tǒng)地介紹了中文分詞的研究背景、研究意義以及國(guó)內(nèi)外的研究現(xiàn)狀，而且對(duì)目前國(guó)內(nèi)外極具代表性的幾種中文分詞系統(tǒng)進(jìn)行簡(jiǎn)單的闡述。
　　 (2)對(duì)中文分詞領(lǐng)域常用的幾種分詞算法進(jìn)行詳細(xì)闡述，包括基于字符串統(tǒng)計(jì)的算法、基于統(tǒng)計(jì)的算法以及基于規(guī)則的算法[2]，并分別對(duì)

3、這幾種算法進(jìn)行了流程分析，介紹了中文分詞中幾種分詞系統(tǒng)的評(píng)價(jià)標(biāo)準(zhǔn)以及目前中文分詞領(lǐng)域所面臨的困難。
　　 (3)未登錄詞的識(shí)別算法。介紹未登錄詞識(shí)別的常用的幾種算法，即基于統(tǒng)計(jì)的算法、基于規(guī)則的算法以及基于統(tǒng)計(jì)和規(guī)則相結(jié)合的算法[3]，重點(diǎn)闡述了基于統(tǒng)計(jì)和規(guī)則相結(jié)合的算法的中心思想，并對(duì)其進(jìn)行流程分析，給出了統(tǒng)計(jì)模型和規(guī)則模型，最后通過相關(guān)語料進(jìn)行了實(shí)驗(yàn)并對(duì)實(shí)驗(yàn)結(jié)果進(jìn)行了分析。
　　 (4)未登錄詞的擴(kuò)展。介紹了未登錄詞