語(yǔ)義度量在文本信息檢索的研究.pdf

1、信息檢索是隨著科學(xué)技術(shù)的發(fā)展和信息量的激增而產(chǎn)生的技術(shù),并在人們的工作和生活當(dāng)中發(fā)揮著越來(lái)越重要的作用。人們?cè)谄綍r(shí)經(jīng)常用到的信息大部分都是用文本形式來(lái)表示的,所以經(jīng)常用到的查詢(xún)就是文本形式的信息檢索,即文本信息檢索。人們?cè)诿鎸?duì)大量信息的時(shí)候,如何從這些大量的信息中檢索出滿(mǎn)足用戶(hù)查詢(xún)條件的信息是非常重要的。
　　 對(duì)文本信息進(jìn)行查詢(xún)時(shí),首先要使用合適的數(shù)據(jù)模型對(duì)文本信息進(jìn)行抽象,本文采用向量空間模型(VectorSpaceMode

2、l),對(duì)文本信息進(jìn)行特征向量的提取,這樣在對(duì)文本進(jìn)行相似度匹配的時(shí)候,就可以選用文本特征向量對(duì)相似度進(jìn)行比較。
　　 在對(duì)文本特征向量進(jìn)行相識(shí)度比較的時(shí)候,本論文采用了基于語(yǔ)義度量的方法-擴(kuò)散映射(DiffusionMaps),該方法在對(duì)文本特征向量進(jìn)行處理的時(shí)候,可以把高維的數(shù)據(jù)通過(guò)擴(kuò)散映射降為低維數(shù)據(jù),在擴(kuò)散的過(guò)程中,擴(kuò)散距離可以保持?jǐn)?shù)據(jù)語(yǔ)義之間的不變性。對(duì)經(jīng)過(guò)擴(kuò)散映射處理過(guò)的數(shù)據(jù),本論文定義了一個(gè)二值法,如果向量的第p位的

3、值大于或等于所有向量的第p位的平均值則其值為+1,小于向量平均值的為-1,這樣文本就用一串低維數(shù)的二值向量來(lái)表示。
　　 對(duì)文本進(jìn)行檢索時(shí),對(duì)那些要查詢(xún)的文檔,根據(jù)剛才得到的二值向量,訓(xùn)練出來(lái)分類(lèi)器,然后用分類(lèi)器對(duì)要查詢(xún)的文檔進(jìn)行分類(lèi),就可以對(duì)查詢(xún)文檔用二值向量來(lái)表示,就可以加快文件的檢索速率。
　　 本論文使用Reuters21578,20Newsgroups,,TDT2,作為測(cè)試數(shù)據(jù)集合,對(duì)我們提出的基于語(yǔ)義度量的文