新聞?wù)Z料庫(kù)中基于概念網(wǎng)絡(luò)的詞語(yǔ)相關(guān)度計(jì)算.pdf

1、詞語(yǔ)相關(guān)度是用來(lái)衡量?jī)蓚€(gè)詞語(yǔ)相關(guān)程度的一個(gè)可度量的數(shù)值,詞語(yǔ)相關(guān)度計(jì)算研究是在自然語(yǔ)言處理的眾多應(yīng)用中的基本研究方向,詞語(yǔ)相關(guān)度計(jì)算方法水平的提高對(duì)于自然語(yǔ)言處理的很多方面有重要的意義,例如文本聚類、語(yǔ)義消歧、語(yǔ)義Web、信息檢索等,但是當(dāng)前詞語(yǔ)相關(guān)度計(jì)算只是單純的通過(guò)統(tǒng)計(jì)或語(yǔ)義詞典來(lái)計(jì)算兩個(gè)概念之間的相關(guān)度,沒(méi)有將兩種方法結(jié)合起來(lái),同時(shí)不能體現(xiàn)概念之間的隱式關(guān)系。本文提出一種新的在新聞?wù)Z料庫(kù)中基于概念網(wǎng)絡(luò)來(lái)計(jì)算詞語(yǔ)相關(guān)度的方法。

2、>　　 目前大多數(shù)計(jì)算詞語(yǔ)相關(guān)度主要有兩種方法,一種方法是利用統(tǒng)計(jì),通過(guò)詞語(yǔ)的共現(xiàn)頻率來(lái)計(jì)算詞語(yǔ)的相關(guān)度,主要缺點(diǎn)是通過(guò)統(tǒng)計(jì)的方法不能準(zhǔn)備的反映詞語(yǔ)之間的固有聯(lián)系,造成關(guān)系丟失。另一種方法是利用語(yǔ)義詞典,由于語(yǔ)義詞典由專家構(gòu)建,該方法的主要缺點(diǎn)是不能動(dòng)態(tài)的反映詞語(yǔ)意義的變化,或及時(shí)的引入新的詞語(yǔ)。同時(shí)之前的研究方法側(cè)重于一對(duì)詞語(yǔ)之間相關(guān)度的計(jì)算,忽略了詞語(yǔ)之間是互相聯(lián)系的。
　　 針對(duì)上述缺點(diǎn),本文提出了相應(yīng)的解決方案。首先,

3、構(gòu)建一個(gè)新聞?wù)Z料庫(kù),利用新聞?wù)Z料庫(kù)及時(shí)性等優(yōu)點(diǎn),通過(guò)對(duì)新聞?wù)Z料庫(kù)中共現(xiàn)詞語(yǔ)的統(tǒng)計(jì)來(lái)計(jì)算詞語(yǔ)的相關(guān)度。其次,針對(duì)統(tǒng)計(jì)的缺點(diǎn),引入維基百科相關(guān)度來(lái)對(duì)概念的相關(guān)度進(jìn)行矯正,保證詞語(yǔ)之間的固有聯(lián)系,結(jié)合上述兩步,提出SWRN-W(single wordrelatedness computation algorithm for news corpus based Wikipedia)算法,然后根據(jù)SWRN-W詞語(yǔ)相關(guān)度算法的結(jié)果來(lái)構(gòu)建一個(gè)概念網(wǎng)絡(luò)