基于蟻群算法的漢語自動分詞的研究與實現(xiàn).pdf

1、漢語自動分詞是中文信息處理領(lǐng)域中的基礎(chǔ)課題,其中,歧義初分的消除是影響分詞精度的關(guān)鍵問題.國內(nèi)外很多學者在自動分詞領(lǐng)域展開了富有成效的工作,但在提高分詞精度上,仍然存在著很在的困難.我們研究發(fā)現(xiàn),對于漢語自動分詞,首先,必須對影響分詞精度的語言現(xiàn)象作針對性的研究,做到對問題的實質(zhì)從總體上把握;其次,必需考慮分詞算法的設(shè)計,建立分詞模型,提高模型的計算能力;并研究在分詞過程中提供更有效的語言信息的度量.該文在分詞建模過程中,啟發(fā)于蟻群算法

2、在解決一系列復(fù)雜組合優(yōu)化問題中所表現(xiàn)出來的卓越性能,創(chuàng)造性地交蟻群算法模型運用到漢語自動分詞問題中歧義字段的識別和切分上面,通過流語句子在內(nèi)存中表示的數(shù)據(jù)結(jié)構(gòu)的設(shè)計,構(gòu)造了我們的分詞模型,以詞頻作為啟發(fā)因子,巧妙的將純粹分詞問題轉(zhuǎn)化為詞的選擇問題,并從計算的角度,分別以絕對減值法和后備法給出我們相應(yīng)方案的詳細設(shè)計.實驗結(jié)果顯示我們的基于蟻群算法的漢語自動分詞方法是一個可行的解決方案.在統(tǒng)一的語料測試集上,我們就該本分詞算法和中科院計算所