基于Map-Reduce和Trie樹的搜索需求識別研究.pdf

1、在數(shù)據(jù)量爆炸式增長的互聯(lián)網(wǎng)時代，人們同時面臨著機遇和挑戰(zhàn)。一方面人們在不斷地從大數(shù)據(jù)金礦中挖掘出有用的信息，另一方面又可能面對大量的Web冗余信息束手無策。而搜索引擎作為人們最常用的信息檢索工具，在幫助人們從互聯(lián)網(wǎng)中找到所需信息的同時，也承受著數(shù)據(jù)增長帶來的極大負擔。
　　目前由于搜索引擎的索引數(shù)據(jù)正變得越來越龐大，其查詢的工作量正變得日益繁重，同時，搜索引擎所查詢到的絕大多數(shù)信息都是與用戶需求無關(guān)的。如果搜索引擎在發(fā)起搜索之前就

2、能預測用戶的搜索需求，就能為用戶提供體驗更好的搜索服務。通過搜索引擎對用戶搜索需求進行實時分析，不僅能為用戶提供更加個性化的搜索結(jié)果，同時也可以省略很多不必要的計算。于是搜索引擎的用戶搜索需求成了國內(nèi)外學者們重點研究的領(lǐng)域。要完成對用戶需求的預判，必須對用戶的搜索詞進行識別，這種識別往往需要借助一些日志挖掘的手段。但是現(xiàn)在的搜索日志數(shù)據(jù)量都在TB級別，在單機上難以實現(xiàn)。
　　本文針對大規(guī)模數(shù)據(jù)計算的特點，提出了構(gòu)建需求識別模板的P

3、aratemp策略。該策略借助Map-Reduce技術(shù)，通過對搜索日志的訓練從分布式集群上挖掘出具有代表性的分類模板，從而得到能識別用戶搜索需求的模式。同時本文借鑒關(guān)聯(lián)規(guī)則挖掘中的置信度和支持度變量，提出了針對模板的篩選標準。通過篩選的模板可以作為分類搜索需求的支持依據(jù)。
　　在成功提取用戶搜索模板后，為了達到識別搜索需求的目的,需要一套高效的自然語言算法來對這些模板加以利用。本文設(shè)計了Tempaser識別算法，利用Trie樹空間