分詞連寫的中文信息處理.pdf

1、詞是最小的表示獨(dú)立語(yǔ)義的語(yǔ)言單位，各種自然語(yǔ)言文本的處理都是以詞為基礎(chǔ)的?？墒?，漢語(yǔ)文本被表示為連續(xù)的漢字串，詞與詞之間沒有明確的分隔標(biāo)記。顯而易見，自動(dòng)識(shí)別詞邊界，即將漢字串切分為正確的詞串的分詞問題，就成為了實(shí)現(xiàn)中文信息處理的各項(xiàng)任務(wù)中的首要問題。長(zhǎng)期以來(lái)，分詞問題也嚴(yán)重地阻礙了中文信息處理的發(fā)展。 結(jié)合中文信息處理的發(fā)展趨勢(shì)，提出了一種分詞連寫的中文輸入軟件，把目前中文信息處理不可逾越的一個(gè)階段——分詞，提前到文本輸入的時(shí)

2、候進(jìn)行，這是以最低消費(fèi)和最高精度進(jìn)行分詞的最佳時(shí)機(jī)。本文在理論及實(shí)踐上創(chuàng)新之處主要如下：分析了分詞連寫的必要性和可行性，提出了分詞連寫的對(duì)策：推行分詞連寫的中文輸入軟件。提出了基于全切分算法的逐步求精的分詞策略，該策略首先利用無(wú)交叉歧義邊界確定算法來(lái)把較長(zhǎng)的中文字串分成若干個(gè)句子，緊接著對(duì)每個(gè)句子采用全切分算法，生成中文分詞有向圖，然后經(jīng)過確定性切分階段和未登錄詞識(shí)別階段，對(duì)上述中文分詞有向圖進(jìn)行裁邊，從而減少有向圖的切分路徑。利用圖論