新聞?wù)Z料庫中基于概念網(wǎng)絡(luò)的詞語相關(guān)度計算.pdf

1、詞語相關(guān)度是用來衡量兩個詞語相關(guān)程度的一個可度量的數(shù)值,詞語相關(guān)度計算研究是在自然語言處理的眾多應(yīng)用中的基本研究方向,詞語相關(guān)度計算方法水平的提高對于自然語言處理的很多方面有重要的意義,例如文本聚類、語義消歧、語義Web、信息檢索等,但是當前詞語相關(guān)度計算只是單純的通過統(tǒng)計或語義詞典來計算兩個概念之間的相關(guān)度,沒有將兩種方法結(jié)合起來,同時不能體現(xiàn)概念之間的隱式關(guān)系。本文提出一種新的在新聞?wù)Z料庫中基于概念網(wǎng)絡(luò)來計算詞語相關(guān)度的方法。

2、>　　 目前大多數(shù)計算詞語相關(guān)度主要有兩種方法,一種方法是利用統(tǒng)計,通過詞語的共現(xiàn)頻率來計算詞語的相關(guān)度,主要缺點是通過統(tǒng)計的方法不能準備的反映詞語之間的固有聯(lián)系,造成關(guān)系丟失。另一種方法是利用語義詞典,由于語義詞典由專家構(gòu)建,該方法的主要缺點是不能動態(tài)的反映詞語意義的變化,或及時的引入新的詞語。同時之前的研究方法側(cè)重于一對詞語之間相關(guān)度的計算,忽略了詞語之間是互相聯(lián)系的。
　　 針對上述缺點,本文提出了相應(yīng)的解決方案。首先,

3、構(gòu)建一個新聞?wù)Z料庫,利用新聞?wù)Z料庫及時性等優(yōu)點,通過對新聞?wù)Z料庫中共現(xiàn)詞語的統(tǒng)計來計算詞語的相關(guān)度。其次,針對統(tǒng)計的缺點,引入維基百科相關(guān)度來對概念的相關(guān)度進行矯正,保證詞語之間的固有聯(lián)系,結(jié)合上述兩步,提出SWRN-W(single wordrelatedness computation algorithm for news corpus based Wikipedia)算法,然后根據(jù)SWRN-W詞語相關(guān)度算法的結(jié)果來構(gòu)建一個概念網(wǎng)絡(luò)