信息檢索查詢?cè)~權(quán)分配方法的研究.pdf

1、因特網(wǎng)的發(fā)展使得人們可訪問(wèn)的信息資源越來(lái)越多,遠(yuǎn)遠(yuǎn)超過(guò)了人工篩選的處理能力,人們迫切的需要一種能夠快速準(zhǔn)確地為其找到所需信息的手段。信息檢索這個(gè)研究領(lǐng)域正是應(yīng)此需求而誕生的。信息檢索所關(guān)心的問(wèn)題是:信息的表達(dá),存儲(chǔ),組織與獲取等方面的問(wèn)題。本文主要從信息檢索中的查詢(Query)的表達(dá)方法入手來(lái)對(duì)信息檢索技術(shù)加以研究?，F(xiàn)在的搜索引擎,對(duì)于短查詢(Short Query)的檢索效果一般來(lái)說(shuō)比長(zhǎng)的查詢(Long Query)要好。這主要是由

2、于當(dāng)今的大多數(shù)搜索引擎將查詢中的查詢?cè)~(Term)以相同的重要性來(lái)看待,這使得在最終的檢索結(jié)果中,傾向于Query中不重要的Term的文檔同樣會(huì)得到很高的排序(Rank)得分,從而導(dǎo)致真正與查詢有較強(qiáng)的語(yǔ)義相關(guān)性的文檔排到后面,最終影響檢索性能。本文正是立足于傳統(tǒng)方法在這一方面的不足進(jìn)行研究的,力圖尋求一種方法來(lái)確定Query中各Term在用戶信息需求(InformationNeed)的表達(dá)中所起的重要性,并利用不同的Term具有不同重

3、要性這一特點(diǎn),通過(guò)在檢索階段對(duì)它們區(qū)分對(duì)待來(lái)提高最終的整體檢索效果。
　　 本文的基本思想是,對(duì)于自然語(yǔ)言所構(gòu)成的查詢,查詢?cè)~的重要性在語(yǔ)言的組織結(jié)構(gòu)本身中就有很強(qiáng)的體現(xiàn),也就是說(shuō),我們可以利用這些信息來(lái)估計(jì)查詢?cè)~的重要性。本文中所用到的核心方法為隱馬爾可夫模型(Hidden MarkovModel,HMM),我們將在文中詳細(xì)討論使用該模型進(jìn)行權(quán)重分配的好處,并通過(guò)大量的實(shí)驗(yàn)對(duì)比不同階次的馬爾可夫模型在Term權(quán)重分配上的效果,