基于相對(duì)詞頻的相似度研究.pdf

1、在中文信息處理中，文本相似度的計(jì)算廣泛應(yīng)用于信息檢索、機(jī)器翻譯、自動(dòng)問答系統(tǒng)、文本挖掘等領(lǐng)域，是一個(gè)非?；A(chǔ)而關(guān)鍵的問題，相似度計(jì)算的方法目前也有很多種，針對(duì)總體研究情況來看，這些方法缺乏對(duì)文本的語義分析，本文主要考慮利用知網(wǎng)提供的詞語標(biāo)注從中文語義角度計(jì)算詞語相似度，從而提高相似度的精度。 作為相似度研究的一個(gè)基礎(chǔ)環(huán)節(jié)，中文自動(dòng)分詞處理結(jié)果的好壞直接影響最后計(jì)算結(jié)果的準(zhǔn)確性。文章介紹中文自動(dòng)分詞消歧技術(shù)的相關(guān)研究背景及發(fā)展?fàn)顩r

2、。文中采用以語料庫為手段的相對(duì)詞頻語境計(jì)算模型的算法先對(duì)中文文本詞語分詞消歧，從歧義字段的上下文中求得消歧信息，通過計(jì)算上下文信息來達(dá)到消歧的目的，使得分詞效果較以往方法得到改善。 經(jīng)分詞消歧后得到的特征詞集利用基于知網(wǎng)語義詞典，通過計(jì)算特征詞之間的語義相似度，將原有特征集經(jīng)過計(jì)算后分成若干特征詞集。同一特征詞集中的特征詞語義相似度較大，而不同特征詞集的特征詞語義相似度較小。在此基礎(chǔ)上，將同一特征詞集的所有特征項(xiàng)的特征值相加，并