基于維基百科的短文本相關度計算.pdf

1、隨著移動通信技術與社交媒體的發(fā)展，中文短文本形式的信息已滲透在社會和生活的各個領域。巨大信息量的增長也催生出巨大的使用價值，如何挖掘出這些文本的深層價值成為了一個熱門話題。因此自然語言處理成為了研究者的研究熱點。語義相關度計算作為自然語言處理領域一項基本性的研究工作，被廣泛地應用于查詢擴展、詞義消歧、機器翻譯、知識抽取、自動糾錯等領域。而短文本作為一種新興的文本信息源，字數較少，所表述的概念信號弱、特征信息模糊，因而難以抽取有效的特征信

2、息。
　　鑒于短文本所表達的信息有限，因此需要大量的背景知識來對樣本特征進行擴展。維基百科作為目前世界上最大的、多語種的、開放式的在線百科全書，得到很多研究者的青睞，因此本文選擇中文維基百科作為外部語料庫，維基百科的結構信息以及語義信息也為短文本語義分析提供了基礎。
　　本文將短文本分為詞語和句子兩部分，首先提出了一種基于維基百科的詞語間相關度的計算方法。該方法主要結合維基百科中的結構信息及語義信息，維基百科的主要結構包括分

3、類體系結構、摘要中的鏈接結構、正文中鏈接結構以及重定向消歧頁等，提出一種綜合類別相關度與鏈接相關度的計算詞語間相關度的方法。為了探究詞語語義深層信息，提出了利用關聯(lián)規(guī)則計算詞語相關度的計算方法。
　　在此基礎上，本文提出了句子間相關度的計算方法，主要從三大方面入手：句子結構間的相關度計算、基于詞對的相關度計算以及利用聚類對主題詞加權的聚類相關度計算。其中，句子結構又包括兩方面：詞形和詞序。在詞形相關度計算上，主要通過計算詞共現(xiàn)的頻

4、率來體現(xiàn)；在詞序計算上，通過逆序數的計算來體現(xiàn)。基于詞對的相關度計算主要考慮句子中詞語的深度語義信息，更符合人類主觀認識。聚類主要是將語義相關的詞語或文本聚為一類或一簇，本文將其利用到句子間相關度的計算上，提高句子相關度計算的準確率。
　　在理論方法成型的基礎上，完成實驗方案的設計。首先，下載處理中文維基百科語料；其次完成詞語以及句子間相關度的計算；最后將計算結果與人工標注集進行對比，本實驗選用了人工翻譯WordSimilarit