基于詞項(xiàng)依賴信息的中文信息檢索方法研究.pdf

1、隨著我國(guó)智能手機(jī)的普及，移動(dòng)互聯(lián)網(wǎng)使用人數(shù)的增加，促使了移動(dòng)互聯(lián)網(wǎng)的飛速發(fā)展，網(wǎng)絡(luò)中存儲(chǔ)的各種數(shù)據(jù)呈指數(shù)級(jí)增長(zhǎng)。如何利用信息檢索技術(shù)快捷有效地從這些海量的數(shù)據(jù)中獲取有用的信息，是工業(yè)界和學(xué)術(shù)界都極其關(guān)注的問(wèn)題。
　　傳統(tǒng)的信息檢索技術(shù)大多基于“詞袋”模型，假設(shè)詞項(xiàng)之間是相互獨(dú)立的，而忽略了詞項(xiàng)之間的依賴關(guān)系。本文利用統(tǒng)計(jì)方法捕獲詞項(xiàng)之間的依賴關(guān)系，構(gòu)建更有效的中文信息檢索模型。主要的工作包括以下幾個(gè)方面:
　　第一，從統(tǒng)計(jì)的

2、角度，本文提出了全獨(dú)立、順序依賴以及全依賴三種詞項(xiàng)之間的依賴關(guān)系，基于這三種依賴關(guān)系分別構(gòu)建了檢索的文本特征，設(shè)計(jì)了排序函數(shù)。考慮到文本長(zhǎng)度以及中文語(yǔ)句的特殊性，在構(gòu)建文本特征時(shí)，將詞項(xiàng)之間的距離納入統(tǒng)計(jì)范圍。我們?cè)贜TCIR-5中文信息檢索測(cè)試集上進(jìn)行了實(shí)驗(yàn)。實(shí)驗(yàn)分為兩部分，第一部分實(shí)驗(yàn)分別基于三種依賴關(guān)系構(gòu)造文本特征，在基于順序依賴和全依賴關(guān)系構(gòu)造文本特征時(shí)，只組合兩個(gè)詞項(xiàng)。第二部分實(shí)驗(yàn)在基于順序依賴和全依賴關(guān)系構(gòu)造文本特征時(shí)，查詢

3、文本范圍內(nèi)組合多個(gè)詞項(xiàng)構(gòu)建文本特征，并與第一部分的實(shí)驗(yàn)數(shù)據(jù)做了比較。在平均準(zhǔn)確率(MAP)和P@10兩種評(píng)測(cè)指標(biāo)上做了比較，基于順序依賴關(guān)系和全依賴關(guān)系構(gòu)建的文本特征所得到的檢索結(jié)果都優(yōu)于基于全獨(dú)立關(guān)系的文本特征的檢索結(jié)果，而且在構(gòu)建文本特征時(shí)，多于兩個(gè)詞項(xiàng)組合的文本特征的檢索結(jié)果要優(yōu)于只組合兩個(gè)詞項(xiàng)的文本特征的檢索結(jié)果。
　　第二，實(shí)現(xiàn)了一個(gè)基于詞項(xiàng)依賴信息的中文全文信息檢索系統(tǒng)。該系統(tǒng)主要包含三個(gè)模塊:文檔解析模塊、索引模塊、