查詢理解與正負雙向相關(guān)反饋技術(shù)研究.pdf

1、廣泛迅捷的分享和交換信息是互聯(lián)網(wǎng)最重要的優(yōu)點之一，然而隨著互聯(lián)網(wǎng)中承載的數(shù)據(jù)量和信息量呈指數(shù)級爆炸式增長，導致人們必須面對日益嚴重的信息過載問題。在該背景下信息檢索技術(shù)應運而生并隨著互聯(lián)網(wǎng)一起迅猛的發(fā)展，成為當前解決信息過載問題最直接和有效的手段。同時查詢理解和相關(guān)反饋技術(shù)是近幾年被廣泛驗證的用于改善信息檢索性能的有效途徑，盡管現(xiàn)有研究已經(jīng)取得了一些重要進展，但是仍然有很多關(guān)鍵的問題沒有得到很好的解決。針對現(xiàn)有研究中存在的種種不足，本文

2、在分析當前各查詢理解和相關(guān)反饋算法基礎上，重點對查詢理解技術(shù)以及以其為基礎的相關(guān)反饋技術(shù)進行了深入的研究。本文的主要研究工作和貢獻如下:
　　1.針對查詢理解技術(shù)中的詞項權(quán)重預測問題，本文將其轉(zhuǎn)換為序列標注問題，提出了一種新的基于循環(huán)神經(jīng)網(wǎng)絡的查詢詞項權(quán)重學習模型。該模型通過綜合考慮查詢中各詞項的統(tǒng)計、語法、語義以及詞項間關(guān)系信息構(gòu)造查詢詞項特征向量，同時利用遺傳算法結(jié)合真實文檔相關(guān)性標注得到最優(yōu)詞項權(quán)重值，最后利用雙向循環(huán)神經(jīng)網(wǎng)

3、絡對查詢詞項序列與相應最優(yōu)權(quán)重序列之間的關(guān)系進行有監(jiān)督學習建模，實現(xiàn)了對查詢詞項權(quán)重自動、合理和有效地預測。實驗結(jié)果表明，通過該方法得到的查詢詞項權(quán)重能夠明顯地提升檢索效果，并且在多個數(shù)據(jù)集和檢索結(jié)果準確率評價指標上均顯著地優(yōu)于各對比方法。
　　2.針對查詢理解技術(shù)中現(xiàn)有查詢意圖分類方法普遍存在的嚴重依賴人工標注數(shù)據(jù)和面對類別體系變化不靈活的問題，本文將其轉(zhuǎn)換為由一個序列分類問題和一個經(jīng)典分類問題組成的兩階段分類問題，并根據(jù)該分類

4、問題的特點，提出了一種新的基于級聯(lián)深度學習的查詢意圖分類方法。該方法首先從提高分類靈活度和效率的角度出發(fā)，提出了一種級聯(lián)的深度神經(jīng)網(wǎng)絡，構(gòu)造了一個兩階段查詢意圖分類器;然后從降低對人工標注依賴的角度出發(fā)，通過隱式相關(guān)反饋技術(shù)挖掘源于真實用戶的標注行為，實現(xiàn)了查詢分類訓練數(shù)據(jù)的自動構(gòu)造。實驗結(jié)果表明，該方法能夠有效的對查詢按主題意圖進行分類，且分類效果顯著的優(yōu)于各對比方法。
　　3.針對現(xiàn)有基于查詢擴展技術(shù)的相關(guān)反饋方法對檢索系統(tǒng)查

5、詢?nèi)罩炯捌渲胁樵冊~項間關(guān)系挖掘不足的問題，本文從充分利用檢索系統(tǒng)查詢?nèi)罩具M行查詢擴展的角度出發(fā)，提出了一種新的基于兩階段SimRank算法和查詢擴展技術(shù)的相關(guān)反饋方法。該方法通過引入權(quán)重關(guān)系改進了基于圖結(jié)構(gòu)的相似度算法SimRank，并使用改進算法在由查詢點擊圖經(jīng)多次轉(zhuǎn)換得到的詞項關(guān)系圖上全面深入地挖掘詞項間相似度及語義關(guān)聯(lián)，從而篩選出高質(zhì)量的查詢擴展詞項。通過在公開標準數(shù)據(jù)集上的實驗表明該方法可以有效地選擇高質(zhì)量相關(guān)擴展詞項，使得檢索

6、效果有顯著的提升。
　　4.針對現(xiàn)有基于語言模型的相關(guān)反饋方法未能同時充分利用正向和負向相關(guān)信息的問題，本文從充分利用隱式反饋和同時挖掘正負兩種相關(guān)信息的角度出發(fā)，提出了一種新的基于語言模型的正負雙向相關(guān)反饋方法。該方法通過分析疑難查詢場景下隱式反饋的正負雙向相關(guān)文檔，基于語言模型檢索框架，同時構(gòu)造正向和負向相關(guān)語言模型，并利用正向模型進一步優(yōu)化負向模型，最大化地提高相關(guān)文檔排名并盡量過濾非相關(guān)文檔，從而改善反饋檢索的效果。通過基