基于實(shí)例的中文分詞系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn).pdf

1、詞語(yǔ)通常被認(rèn)為是自然語(yǔ)言處理的最基本單位。不同于英語(yǔ)或者大部分的西方語(yǔ)言，在許多亞洲語(yǔ)言（如中文、日文、泰文）中，句子是由連續(xù)的字符串序列構(gòu)成，詞語(yǔ)間沒(méi)有顯式的間隔符（如空格）。因此，中文分詞是中文自然語(yǔ)言處理必不可少的首要任務(wù)。所謂中文分詞，就是把連續(xù)的中文文本劃分為單詞、術(shù)語(yǔ)或者其它語(yǔ)言學(xué)單位的過(guò)程。只有這些基本的語(yǔ)言單位被正確地切分出來(lái)，才有可能進(jìn)行后續(xù)的分析或者處理。
　　現(xiàn)有的中文分詞器已經(jīng)達(dá)到很高的精確度。以SIGHA

2、N的PKU語(yǔ)料庫(kù)為例，F(xiàn)1測(cè)值已經(jīng)超過(guò)95％。然而這些最好的分詞器大多依賴于龐大的訓(xùn)練數(shù)據(jù)、復(fù)雜的統(tǒng)計(jì)模型或者特定的語(yǔ)言模型，往往無(wú)法應(yīng)用于不同的語(yǔ)言。目前仍然沒(méi)有一種分詞算法可以有效地刻畫(huà)人類識(shí)別詞語(yǔ)邊界的能力。訓(xùn)練語(yǔ)料庫(kù)是最好的分詞參考，如何盡可能地利用訓(xùn)練語(yǔ)料庫(kù)，從中盡可能多地提取出有用的分詞信息是解決這個(gè)問(wèn)題的關(guān)鍵。
　　論文提出一種全新的基于實(shí)例的中文分詞算法，在此基礎(chǔ)上設(shè)計(jì)并實(shí)現(xiàn)了基于實(shí)例的中文分詞系統(tǒng)。相比于已有分詞

3、算法，該算法直接利用訓(xùn)練語(yǔ)料庫(kù)進(jìn)行分詞。它不需要顯式的分詞詞典，不需要事先的訓(xùn)練過(guò)程，也不依賴于任何語(yǔ)言知識(shí)，而是直接回到人類識(shí)別詞語(yǔ)的方式上，因此可以應(yīng)用于不同語(yǔ)言。由于語(yǔ)料庫(kù)規(guī)模有限，不可避免存在數(shù)據(jù)稀疏問(wèn)題，長(zhǎng)句子容易丟失分詞結(jié)果。因此，該算法首先將待分詞句子劃分為若干個(gè)長(zhǎng)度為N的子句，稱為N子句，然后對(duì)這些N子句進(jìn)行兩個(gè)階段的處理：提出實(shí)例精確匹配方法在訓(xùn)練語(yǔ)料庫(kù)直接找到N子句的分詞結(jié)果，對(duì)于找不到匹配的N子句提出比例類推的分詞