基于切詞和語義的中文相似度研究與應(yīng)用.pdf

1、在自然語言處理中，相似度的問題是一個被廣泛研究和討論的具有重要價值的研究內(nèi)容。中文相似度的研究是通過將語言學(xué)、統(tǒng)計學(xué)、社會學(xué)和計算機(jī)科學(xué)相結(jié)合，來達(dá)到計算各種結(jié)構(gòu)類型的中文文本相似度。由于在中文沒有自然的分割符，所以中文相似度研究的前提是中文自動切詞。經(jīng)過多年的研究探索，已有效果很好的中文切詞系統(tǒng)，如本文使用的ICTCLAS系統(tǒng)。目前的各類相似度研究方法大致上有：基于統(tǒng)計模型的算法、基于規(guī)則的算法和基于知識網(wǎng)絡(luò)系統(tǒng)的算法這三類。各類算法

2、優(yōu)缺點不一，然而由于前兩類沒有直接的考慮相似度中關(guān)鍵的語義相似這一因素而不如后一類效果良好，因此本文也采用基于知識網(wǎng)絡(luò)系統(tǒng)的相似度算法來對詞語和語句的相似度進(jìn)行研究。
　　本文在研究總結(jié)前人的工作基礎(chǔ)上，作了如下工作內(nèi)容：
　　1、本文首先在對語義網(wǎng)絡(luò)《知網(wǎng)》及義原相似度研究的基礎(chǔ)上，針對目前基于《知網(wǎng)》的語義相似度算法的問題以及重新考慮了義原的屬性后，提出了新的義原相似度的計算方法。在《知網(wǎng)》以及對目前的詞語相似度算法的研

3、究基礎(chǔ)上提出了新的詞語相似度算法。通過對詞語的共現(xiàn)性的研究，認(rèn)為詞語間的共現(xiàn)性也是對詞語相似度的一種反映，因此將詞語的共現(xiàn)性引入詞語相似度的計算中，對本文提出的詞語相似度的計算公式做了修正。
　　2、針對《知網(wǎng)》無法解決的未登錄詞相似度計算問題，本文通過切詞系統(tǒng)及最大匹配算法將其轉(zhuǎn)化為《知網(wǎng)》中的登錄詞，進(jìn)而提出了基于《知網(wǎng)》的未登錄詞相似度算法。
　　3、在詞語相似度的研究基礎(chǔ)上以及中文切詞系統(tǒng)下，針對目前已有的語句相似度