基于組合策略的中文詞語相似度計算研究.pdf

1、針對當前詞語相似度計算方法存在的局限性：基于語義詞典的詞語相似度計算方法依賴字典進行相似度計算，因此無法對字典未登錄詞語進行計算；基于語料庫的詞語相似度計算方法在計算低頻詞語的相似度時，由于低頻詞語上下文信息量太少，使得詞向量不能較好地表示詞語語義，導致其相似度計算無效。本文進行了如下的研究：
　　 首先，本文利用大規(guī)模的真實語料對中文詞語的分布規(guī)律進行了研究，掌握了中文詞語的分布規(guī)律，并且建立了一個基于真實語料的實驗數(shù)據(jù)集。該

2、部分工作為后文有針對性地設計相似度算法和客觀地評估相似度計算性能做好了充分而必要的準備。
　　 其次，本文提出一種利用背景語料和詞典的未登錄詞語相似度計算方法，該方法利用未登錄詞語的背景語料確定未登錄詞語在語料庫中的最佳概念表達，然后為其最佳概念表達構造語境，通過比較未登錄詞語的最佳概念表達的語境和其本身的語境之間的差異來判斷該最佳概念表達能否表達未登錄詞語的涵義，最后利用字典進行相似度計算。該方法有效地解決了傳統(tǒng)的采用切分方法

3、的未登錄詞語相似度計算方法中存在的錯誤切分和濫切分的問題。實驗證明該方法是有效的。
　　 最后，在上文研究的基礎上，本文提出了一種中文詞語的相似度計算的框架。該框架采用組合策略，利用背景語料、語義詞典和基于Internet的構造語料進行詞語相似度計算，它包括四個步驟：(1)若待處理詞語a、b均為語義字典的登錄詞語，則直接利用語義字典進行相似度計算；(2)若a、b中存在為語義字典的未登錄詞語，但未登錄詞語均可切分為語義字典的登錄詞