信息檢索用漢語(yǔ)分詞與未登錄詞識(shí)別技術(shù)研究.pdf

1、漢語(yǔ)分詞是中文信息處理中最基礎(chǔ)的部分。信息檢索用漢語(yǔ)分詞要求分詞算法具備一定的歧義識(shí)別與未登錄詞識(shí)別功能。 本文深入研究了未登錄詞識(shí)別技術(shù)，根據(jù)人在閱讀時(shí)識(shí)別新詞的思維過(guò)程，提出了一種新的未登錄詞識(shí)別算法，其中的數(shù)量詞識(shí)別規(guī)則、邊界單字規(guī)則、虛字輔助規(guī)則、未登錄詞記憶識(shí)別規(guī)則以及左方探測(cè)法、右方探測(cè)法選取未登錄詞規(guī)則等，使得算法在不依賴大型語(yǔ)料庫(kù)的前提下可以有效地識(shí)別多種領(lǐng)域中各種類型的未登錄詞。同時(shí)，算法通過(guò)對(duì)正向、逆向雙向分

2、詞算法的結(jié)果進(jìn)行比較，能識(shí)別出絕大部分的交集歧義，使得未登錄詞識(shí)別與切分歧義識(shí)別一體化，有效地解決了識(shí)別未登錄詞時(shí)導(dǎo)致的新的切分歧義問(wèn)題。接著，本文改進(jìn)了詞表組織結(jié)構(gòu)，改善了詞表查詢算法，在提高分詞效率的同時(shí)也使得詞表的囊括度更大、更新維護(hù)更加靈活。 在此基礎(chǔ)上，針對(duì)信息檢索領(lǐng)域的特點(diǎn)以及對(duì)分詞算法的要求，本文提出了漢語(yǔ)自適應(yīng)分詞算法，并設(shè)計(jì)開(kāi)發(fā)出了漢語(yǔ)分詞基礎(chǔ)模塊CarmmLib．d11以及漢語(yǔ)自適應(yīng)分詞系統(tǒng)Carmm。Car

3、mm用戶可以定制詞表，定制分詞結(jié)果以及可以對(duì)詞表、未登錄詞表等詞表進(jìn)行管理維護(hù)等。Carmm還具備很好的擴(kuò)展性和可移植性。 最后，本文對(duì)Carmm與中科院的分詞系統(tǒng)ICTCLAS開(kāi)源版進(jìn)行了全面測(cè)評(píng)，包括系統(tǒng)效能測(cè)評(píng)(系統(tǒng)基本性能測(cè)評(píng)、負(fù)荷測(cè)評(píng)、穩(wěn)定性測(cè)評(píng))、系統(tǒng)分詞準(zhǔn)確率測(cè)評(píng)、系統(tǒng)未登錄詞識(shí)別的準(zhǔn)確率和召回率測(cè)評(píng)。在整個(gè)測(cè)評(píng)過(guò)程中，carIIlITl的分詞速率可以穩(wěn)定在100KB/s左右。在人民日?qǐng)?bào)語(yǔ)料庫(kù)的開(kāi)放測(cè)評(píng)中，Carm

4、m系統(tǒng)的分詞準(zhǔn)確率約為91.2％。在網(wǎng)絡(luò)時(shí)文的開(kāi)放測(cè)評(píng)中，Carmm系統(tǒng)的分詞準(zhǔn)確率約為90.1％，接近于ICTCLAS開(kāi)源版的91.3％；未登錄詞識(shí)別的準(zhǔn)確率約為91.2％，略低于ICTCLAS開(kāi)源版的93.9％；而未登錄詞識(shí)別的召回率約為94.7％，明顯高于ICTCLAS開(kāi)源版的89.0％。與此同時(shí)，Carmm系統(tǒng)在分詞速率、處理大量未登錄詞的速率穩(wěn)定性、面對(duì)高負(fù)荷系統(tǒng)環(huán)境的健壯性、系統(tǒng)易用性、系統(tǒng)抗干擾性等方面都優(yōu)于ICTCLAS