基于統(tǒng)計的搜索引擎中文輸入糾錯技術(shù)研究.pdf

1、在已經(jīng)到來的Web2.0時代，搜索引擎在互聯(lián)網(wǎng)上扮演了越來越重要的角色，而日益增多并且成熟的互聯(lián)網(wǎng)用戶對搜索引擎的要求也越來越高，其功能也在不斷豐富和完善當(dāng)中，輸入自動檢查糾錯功能就是一項非常重要的附加技術(shù)，并且已經(jīng)得到了較為廣泛的應(yīng)用和推廣。
　　 對于中文搜索引擎來說，輸入自動檢查糾錯功能是指，用戶在輸入關(guān)鍵詞進行搜索之后，如果搜索引擎在返回結(jié)果中計算出與此關(guān)鍵詞相似的另一形式（如詞組中出現(xiàn)同音不同字，或者某一錯別字現(xiàn)象）得

2、到大量的搜索結(jié)果，用戶將會在搜索結(jié)果頁面看到系統(tǒng)提供的推測到的關(guān)鍵詞項。
　　 針對以上問題，首次將一種完全通過分析上下文統(tǒng)計信息的方法引入搜索引擎的輸入糾錯技術(shù)中（未見文獻報道），根據(jù)中文語言的特點，對中文語料庫建立了N-gram統(tǒng)計語言模型，并且對其進行了詳細(xì)的分析，確定了語言模型所必需的參數(shù)，以及對其進行了優(yōu)化處理，使其更加接近真實情況下的語言。研究中引入了TF/IDF權(quán)重計算方法，將初步統(tǒng)計語言模型得出的糾錯檢查結(jié)果再次