融合詞項(xiàng)重要性的多層markov網(wǎng)絡(luò)檢索模型

1、獨(dú)創(chuàng)性聲明本人聲明所呈交的學(xué)位論文是本人在導(dǎo)師指導(dǎo)下進(jìn)行的研究工作及取得的研究成果。據(jù)我所知，除了文中特別加以標(biāo)注和致謝的地方外，論文中不包含其他人已經(jīng)發(fā)表或撰寫過的研究成果，也不包含為獲得或其他教育機(jī)構(gòu)的學(xué)位或證書而使用過的材料。與我一同工作的同志對本研究所做的任何貢獻(xiàn)均已在論文中作了明確的說明并表示謝意。學(xué)位論文作者簽名：簽字日期：年月日學(xué)位論文版權(quán)使用授權(quán)書學(xué)位論文版權(quán)使用授權(quán)書本學(xué)位論文作者完全了解江西師范大學(xué)研究生院有關(guān)保留、

2、使用學(xué)位論文的規(guī)定，有權(quán)保留并向國家有關(guān)部門或機(jī)構(gòu)送交論文的復(fù)印件和磁盤，允許論文被查閱和借閱。本人授權(quán)江西師范大學(xué)研究生院可以將學(xué)位論文的全部或部分內(nèi)容編入有關(guān)數(shù)據(jù)庫進(jìn)行檢索，可以采用影印、縮印或掃描等復(fù)制手段保存、匯編學(xué)位論文。（保密的學(xué)位論文在解密后適用本授權(quán)書）學(xué)位論文作者簽名：導(dǎo)師簽名：簽字日期：年月日簽字日期：年月日萬方數(shù)據(jù)I摘要信息檢索是當(dāng)今計(jì)算機(jī)領(lǐng)域研究的熱點(diǎn)之一，其目的是為了滿足用戶對信息需求，即從海量信息中查找到所需

3、信息。但是由于用戶查詢與文檔表示的不確定性，往往會影響文檔與查詢的匹配效果，導(dǎo)致檢索效果低下。在檢索模型中，圖模型的方法被用于表示文檔及查詢語句，Markov網(wǎng)絡(luò)檢索模型是其中的一種圖模型，利用Markov網(wǎng)絡(luò)可構(gòu)造詞項(xiàng)子空間、文檔子空間，從中提取最大詞項(xiàng)團(tuán)與最大文檔團(tuán)，通過對文檔集做初次的檢索，從檢索的結(jié)果中構(gòu)造查詢子空間，從中提取出最大查詢團(tuán)，可構(gòu)造擴(kuò)展的Markov網(wǎng)絡(luò)檢索模型。在前述的研究中，度量詞項(xiàng)采用的是BM25的形式，其缺

4、點(diǎn)是BM25權(quán)重假定了詞項(xiàng)之間的獨(dú)立性，在計(jì)算時(shí)僅考慮了詞項(xiàng)的頻率信息，忽略了詞項(xiàng)之間的依賴關(guān)系、位置特征、語序特征等。針對上述問題，本文將基于詞重要性的詞項(xiàng)權(quán)重的計(jì)算方法應(yīng)用于多層的Markov網(wǎng)絡(luò)查詢擴(kuò)展模型中，該方法首先建立了文檔的詞項(xiàng)圖，然后根據(jù)詞項(xiàng)圖得到詞項(xiàng)的共現(xiàn)矩陣和詞項(xiàng)間的概率轉(zhuǎn)移矩陣，最后利用馬爾科夫鏈的計(jì)算方法得到詞項(xiàng)的權(quán)重。將得到的詞項(xiàng)權(quán)重運(yùn)用在擴(kuò)展的Markov網(wǎng)絡(luò)模型中。在5個(gè)常用的標(biāo)準(zhǔn)測試集ADI，MED，CR

5、AM，CISI和CRAN中進(jìn)行了實(shí)驗(yàn)，結(jié)果表明本文提出的模型優(yōu)于一般的基于詞袋權(quán)重的多層Markov網(wǎng)絡(luò)檢索模型。本文的工作在于：（1）在多層Markov網(wǎng)絡(luò)擴(kuò)展的檢索模型中使用了基于詞重要性的方法來度量詞項(xiàng)的權(quán)重。模型先構(gòu)造多層Markov網(wǎng)絡(luò)模型，分別是詞項(xiàng)子空間，文檔子空間，查詢子空間。將這三層Markov網(wǎng)絡(luò)信息加入到檢索模型得到擴(kuò)展的Markov網(wǎng)絡(luò)模型，且在模型中詞項(xiàng)的權(quán)重考慮了詞項(xiàng)之間的依賴關(guān)系即采用了基于詞項(xiàng)重要性的方法