短文本與詞語的相關(guān)度計算與評測方法.pdf

1、在自然語言處理(NLP)中,當前詞語相關(guān)性研究對象主要局限于詞對相關(guān)性,且計算方法和評測手段皆獨立于待分析文本。詞對相關(guān)性是目前已明確提出并得到廣泛研究的一種相關(guān)性。但由于相關(guān)度的特性,要找尋一種接近人類的的直覺的計算方法仍然是困難的,“詞對相關(guān)性度量”這一項基礎(chǔ)技術(shù)就在信息檢索等任務(wù)上都有著廣泛的應(yīng)用前景。因此詞對相關(guān)性研究仍是計算語言學(xué)深入研究的內(nèi)容,是NLP眾多任務(wù)中的一個基礎(chǔ)性研究課題。如果能解決詞與各種語義單元的相關(guān)性度量問題

2、,可以使NLP各項任務(wù)有所突破。
　　不同于詞對相關(guān)度(一對詞語之間的相關(guān)度)的研究,本文提出了短文本與詞語的相關(guān)度序列的概念。用于度量相關(guān)性的兩方分別是:短文本及短文本中的語義單元(無論該語義單元是否語言學(xué)上嚴格的詞);相關(guān)度序列主要指短文本中一系列詞語與該短文本之間的語義相關(guān)性按照某種方式排序所得的有序序列。對相關(guān)度序列的獲取,本文以語義單元間多種形式的NOIR和語義單元與短文本相關(guān)度建立相對應(yīng)的關(guān)系,提出了升權(quán)值排序、最優(yōu)路

3、徑排序、最和諧排序、關(guān)系和降權(quán)排序4種相關(guān)度序列的計算方法,并由計算方法按一定的途徑獲取相應(yīng)的相關(guān)度序列。
　　由相關(guān)度計算方法所獲取的相關(guān)度序列,如何評價其優(yōu)劣,即對計算方法的評測,這便涉及到評測數(shù)據(jù)的構(gòu)建和參數(shù)的選取。本文通過尋找參與者對語義單元與短文本的相關(guān)性強弱進行評價,對評價數(shù)據(jù)按照一定的計算方法,獲取基于人類直覺的相關(guān)度序列,完成任務(wù)所需要的評測數(shù)據(jù)的構(gòu)建。對計算方法的評測,本文選取了四種參數(shù)來評測計算方法獲取的相關(guān)度