融合詞項(xiàng)重要性的多層Markov網(wǎng)絡(luò)檢索模型.pdf

1、信息檢索是當(dāng)今計(jì)算機(jī)領(lǐng)域研究的熱點(diǎn)之一，其目的是為了滿足用戶對(duì)信息需求，即從海量信息中查找到所需信息。但是由于用戶查詢與文檔表示的不確定性，往往會(huì)影響文檔與查詢的匹配效果，導(dǎo)致檢索效果低下。
　　在檢索模型中，圖模型的方法被用于表示文檔及查詢語(yǔ)句，Markov網(wǎng)絡(luò)檢索模型是其中的一種圖模型，利用Markov網(wǎng)絡(luò)可構(gòu)造詞項(xiàng)子空間、文檔子空間，從中提取最大詞項(xiàng)團(tuán)與最大文檔團(tuán)，通過(guò)對(duì)文檔集做初次的檢索，從檢索的結(jié)果中構(gòu)造查詢子空間，從中

2、提取出最大查詢團(tuán)，可構(gòu)造擴(kuò)展的Markov網(wǎng)絡(luò)檢索模型。在前述的研究中，度量詞項(xiàng)采用的是BM25的形式，其缺點(diǎn)是BM25權(quán)重假定了詞項(xiàng)之間的獨(dú)立性，在計(jì)算時(shí)僅考慮了詞項(xiàng)的頻率信息，忽略了詞項(xiàng)之間的依賴關(guān)系、位置特征、語(yǔ)序特征等。
　　針對(duì)上述問(wèn)題，本文將基于詞重要性的詞項(xiàng)權(quán)重的計(jì)算方法應(yīng)用于多層的Markov網(wǎng)絡(luò)查詢擴(kuò)展模型中，該方法首先建立了文檔的詞項(xiàng)圖，然后根據(jù)詞項(xiàng)圖得到詞項(xiàng)的共現(xiàn)矩陣和詞項(xiàng)間的概率轉(zhuǎn)移矩陣，最后利用馬爾科夫鏈

3、的計(jì)算方法得到詞項(xiàng)的權(quán)重。將得到的詞項(xiàng)權(quán)重運(yùn)用在擴(kuò)展的Markov網(wǎng)絡(luò)模型中。在5個(gè)常用的標(biāo)準(zhǔn)測(cè)試集ADI，MED，CRAM，CISI和CRAN中進(jìn)行了實(shí)驗(yàn)，結(jié)果表明本文提出的模型優(yōu)于一般的基于詞袋權(quán)重的多層Markov網(wǎng)絡(luò)檢索模型。
　　本文的工作在于：
　?。?）在多層Markov網(wǎng)絡(luò)擴(kuò)展的檢索模型中使用了基于詞重要性的方法來(lái)度量詞項(xiàng)的權(quán)重。模型先構(gòu)造多層Markov網(wǎng)絡(luò)模型，分別是詞項(xiàng)子空間，文檔子空間，查詢子空間。將