短文本與詞語(yǔ)的相關(guān)度計(jì)算與評(píng)測(cè)方法.pdf

1、在自然語(yǔ)言處理(NLP)中,當(dāng)前詞語(yǔ)相關(guān)性研究對(duì)象主要局限于詞對(duì)相關(guān)性,且計(jì)算方法和評(píng)測(cè)手段皆獨(dú)立于待分析文本。詞對(duì)相關(guān)性是目前已明確提出并得到廣泛研究的一種相關(guān)性。但由于相關(guān)度的特性,要找尋一種接近人類(lèi)的的直覺(jué)的計(jì)算方法仍然是困難的,“詞對(duì)相關(guān)性度量”這一項(xiàng)基礎(chǔ)技術(shù)就在信息檢索等任務(wù)上都有著廣泛的應(yīng)用前景。因此詞對(duì)相關(guān)性研究仍是計(jì)算語(yǔ)言學(xué)深入研究的內(nèi)容,是NLP眾多任務(wù)中的一個(gè)基礎(chǔ)性研究課題。如果能解決詞與各種語(yǔ)義單元的相關(guān)性度量問(wèn)題

2、,可以使NLP各項(xiàng)任務(wù)有所突破。
　　不同于詞對(duì)相關(guān)度(一對(duì)詞語(yǔ)之間的相關(guān)度)的研究,本文提出了短文本與詞語(yǔ)的相關(guān)度序列的概念。用于度量相關(guān)性的兩方分別是:短文本及短文本中的語(yǔ)義單元(無(wú)論該語(yǔ)義單元是否語(yǔ)言學(xué)上嚴(yán)格的詞);相關(guān)度序列主要指短文本中一系列詞語(yǔ)與該短文本之間的語(yǔ)義相關(guān)性按照某種方式排序所得的有序序列。對(duì)相關(guān)度序列的獲取,本文以語(yǔ)義單元間多種形式的NOIR和語(yǔ)義單元與短文本相關(guān)度建立相對(duì)應(yīng)的關(guān)系,提出了升權(quán)值排序、最優(yōu)路

3、徑排序、最和諧排序、關(guān)系和降權(quán)排序4種相關(guān)度序列的計(jì)算方法,并由計(jì)算方法按一定的途徑獲取相應(yīng)的相關(guān)度序列。
　　由相關(guān)度計(jì)算方法所獲取的相關(guān)度序列,如何評(píng)價(jià)其優(yōu)劣,即對(duì)計(jì)算方法的評(píng)測(cè),這便涉及到評(píng)測(cè)數(shù)據(jù)的構(gòu)建和參數(shù)的選取。本文通過(guò)尋找參與者對(duì)語(yǔ)義單元與短文本的相關(guān)性強(qiáng)弱進(jìn)行評(píng)價(jià),對(duì)評(píng)價(jià)數(shù)據(jù)按照一定的計(jì)算方法,獲取基于人類(lèi)直覺(jué)的相關(guān)度序列,完成任務(wù)所需要的評(píng)測(cè)數(shù)據(jù)的構(gòu)建。對(duì)計(jì)算方法的評(píng)測(cè),本文選取了四種參數(shù)來(lái)評(píng)測(cè)計(jì)算方法獲取的相關(guān)度