基于Map-Reduce的分布式搜索模型研究.pdf

1、隨著互聯(lián)網的發(fā)展，數(shù)據(jù)呈現(xiàn)幾何式的增長，如何能夠從巨大的數(shù)據(jù)中快速尋找出對自己有用的數(shù)據(jù)，將會是大家面臨的一個問題。搜索技術的出現(xiàn)方便了人們快速而且有效的獲取信息。在搜索技術中，最突出的搜索工具就是搜索引擎，當然針對于一些特定數(shù)據(jù)的搜索工具，比如說在交叉學科領域的一些數(shù)據(jù)的檢索工具也給人們帶來了巨大的便利之處。
　　本文正是基于這兩個方面開展研究工作，并且從研究和設計的角度出發(fā)，對于分布式搜索領域的相關理論和技術進行了詳細的討論和

2、分析，詳細的介紹了Map/Reduce的分布式架構技術和搜索領域的Lucene技術，并以此為基礎，開展了兩項工作的設計開發(fā)。
　　論文中主要實現(xiàn)的工作為:第一，實現(xiàn)了學術論文搜索的單機搜索模型和分布式搜索模型的開發(fā)，并對于其中遇到的一些問題進行了解決或優(yōu)化;第二，對于學術論文搜索中的文本分類和索引存儲進行了方法上的改進，使得效率有了顯著的提高;第三，實現(xiàn)了基因/蛋白質序列搜索的單機搜索模型和分布式搜索模型的開發(fā)，對于分布式中的Co