搜索引擎?zhèn)€性化檢索及用戶推薦功能的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)技術(shù)的飛速發(fā)展，網(wǎng)上信息量劇增，人們從海量信息中挖掘出可用信息日益困難。目前人們采用搜索引擎的方式在互聯(lián)網(wǎng)上檢索信息，傳統(tǒng)搜索引擎，如國(guó)外的Google，yahoo，國(guó)內(nèi)的百度，天網(wǎng)等，都迅速發(fā)展起來(lái)。截止2010年6月，中國(guó)網(wǎng)民數(shù)量增長(zhǎng)到4億，網(wǎng)民中使用搜索引擎的比率大于百分之七十，國(guó)外的搜索引擎使用比率更高，因此搜索引擎的市場(chǎng)前景看好。然而通用搜索引擎的結(jié)果面向大多數(shù)用戶，當(dāng)檢索詞相同時(shí)，返回給用戶的結(jié)果一致。事實(shí)上，隨著

2、年齡，性別，學(xué)歷，專業(yè)等的不同，不同用戶對(duì)同一檢索詞的興趣點(diǎn)不一致。個(gè)性化搜索引擎試圖通過(guò)分析文檔結(jié)構(gòu)、用戶瀏覽行為信息及用戶對(duì)文檔的評(píng)價(jià)信息，建立用戶的興趣模型，指導(dǎo)搜索引擎的查詢結(jié)果以及結(jié)果排序，力圖滿足每個(gè)用戶的需求。
　　 本文主要實(shí)現(xiàn)了搜索引擎中的三個(gè)功能：①中文分詞技術(shù)。②用戶推薦功能。③個(gè)性化檢索，對(duì)相同查詢?cè)~根據(jù)用戶興趣不同返回更貼近用戶興趣點(diǎn)的結(jié)果。中文分詞是自然語(yǔ)言處理的范疇，是搜索引擎查詢和建立索引的基礎(chǔ)。

3、目前中文分詞算法比較常用的有基于詞典的分詞算法，基于統(tǒng)計(jì)的分詞算法和基于規(guī)則的分詞算法。基于詞典的分詞算法設(shè)計(jì)思想簡(jiǎn)單，為大多數(shù)程序員所使用。但是中文分詞存在兩大難點(diǎn)問(wèn)題，歧義的消除和未登錄詞的識(shí)別。經(jīng)過(guò)眾多學(xué)者的努力，目前仍未完美的解決此問(wèn)題。本文的分詞算法，對(duì)原有分詞算法做了部分改進(jìn)，提高了分詞的精度。在用戶使用搜索引擎檢索的過(guò)程中，查詢?cè)~是用戶與搜索引擎交互的唯一手段。查詢?cè)~的準(zhǔn)確與否直接關(guān)系到用戶檢索結(jié)果的精度。然而大多數(shù)用戶不

4、能準(zhǔn)確描述自己所遇到的問(wèn)題，因此會(huì)影響到返回的結(jié)果。用戶推薦的出現(xiàn)很好的解決了這一問(wèn)題，當(dāng)用戶輸入查詢限制時(shí)，先通過(guò)中文分詞技術(shù)把一段字符序列切分成詞語(yǔ)，然后根據(jù)關(guān)聯(lián)規(guī)則給用戶返回更多具有語(yǔ)義相關(guān)性的查詢結(jié)果，供用戶選擇或者參考。個(gè)性化檢索是指通過(guò)挖掘用戶興趣信息，建立合理的模型來(lái)表示、管理用戶興趣，并通過(guò)不斷更新與維護(hù)，逐步優(yōu)化模型，使其能準(zhǔn)確反映用戶的興趣需求，為后續(xù)搜索工作提供個(gè)性化的分析依據(jù)。其包括用戶所搜索的關(guān)鍵詞，對(duì)搜索結(jié)果

5、的點(diǎn)擊，各個(gè)網(wǎng)站瀏覽行為，書簽情況等。搜索引擎掌握了這些用戶資料后進(jìn)行分析，在用戶搜索新的關(guān)鍵詞時(shí)，能返回更有針對(duì)性的搜索結(jié)果，從而提高用戶體驗(yàn)。
　　 本研究的創(chuàng)新點(diǎn)在于：⑴設(shè)計(jì)了自己的中文分詞核心詞典，其包括常用漢語(yǔ)詞語(yǔ)119803條，計(jì)算機(jī)術(shù)語(yǔ)1015條。新詞詞典是通過(guò)計(jì)算機(jī)程序的主動(dòng)學(xué)習(xí)，不斷加入未登錄詞，新詞。新詞詞典用于存放切分詞語(yǔ)時(shí)出現(xiàn)的未登錄詞和歧義詞，在分詞結(jié)束時(shí)對(duì)主要詞典進(jìn)行擴(kuò)充。⑵在基于通用搜索引擎實(shí)現(xiàn)技術(shù)