基于統(tǒng)計模型的搜索引擎查詢糾錯系統(tǒng).pdf

1、專業(yè)學位碩士學位論文基于統(tǒng)計模型的搜索引擎查詢糾錯系統(tǒng)基于統(tǒng)計模型的搜索引擎查詢糾錯系統(tǒng)QueryCrectionSystemfSearchEngineBasedonStatisticalModel作者姓名：沈健工程領域：軟件工程學號：31517015指導教師：李鳳岐完成日期：2017年5月31日大連理工大學DalianUniversityofTechnology大連理工大學專業(yè)學位碩士學位論文I摘要搜索引擎是人們?nèi)粘Ｉ钪凶畛Ｓ玫墓ぞ?/p>

2、之一，用戶使用搜索引擎進行檢索的過程當中，難免會輸入不明確或者錯誤的查詢詞。分析搜索引擎用戶查詢?nèi)罩究梢园l(fā)現(xiàn)用戶輸入的查詢錯誤類型多樣，出錯查詢占總查詢的比例超過10%。查詢糾錯是對用戶輸入查詢進行處理，給出用戶想要的正確查詢詞，進而檢索出正確的相關結果。因此好的查詢糾錯方法可以有效提升用戶體驗，提高搜索引擎自身的容錯性和易用性。為了處理搜索引擎常見的各類查詢錯誤，有效提高糾錯的準確率，本文首先研究了基于隱馬爾科夫模型和Ngram模型的

3、糾錯方法，詳細說明了對Ngram語言模型進行建立和訓練的過程，在Ngram語言統(tǒng)計模型中加入大量由日志數(shù)據(jù)得到的詞頻以及字頻信息。區(qū)別于使用簡單的語言模型，本文拼音糾錯模塊通過將候選集合過濾問題轉化為隱馬爾科夫模型求隱藏狀態(tài)序列的問題，利用維特比算法求出最優(yōu)候選，再與原查詢和其他查詢結果對比確定最終糾錯結果。其次利用大量搜索引擎網(wǎng)絡日志中提取的查詢數(shù)據(jù)作為方法的糾錯數(shù)據(jù)集、模型訓練集以及實驗測試集，日志數(shù)據(jù)容易更新和維護，對于不同領域的

4、搜索引擎查詢糾錯，采用日志作為訓練數(shù)據(jù)集的方法也更容易移植。最后，本文分析用戶查詢?nèi)罩荆偨Y查詢出錯類型，并且充分分析了傳統(tǒng)的字典集匹配法和編輯距離糾錯方法的特點，結合統(tǒng)計模型糾錯，按照合適的方式將設計的各個模塊組合，形成一套完整的搜索引擎查詢糾錯方法，并實現(xiàn)了對應的查詢糾錯系統(tǒng)。實驗驗證了本文實現(xiàn)的查詢糾錯系統(tǒng)具有良好的糾錯效果，設計的糾錯方法能夠處理搜索引擎下常見類型的查詢錯誤并且具有較高的準確率和召回率。關鍵詞：搜索引擎；查詢糾錯