基于Hadoop的農(nóng)業(yè)信息資源分布式檢索研究與實現(xiàn).pdf

1、隨著農(nóng)業(yè)現(xiàn)代化的發(fā)展,農(nóng)業(yè)用戶對于農(nóng)業(yè)信息資源產(chǎn)生了巨大的需求,近年來由于云計算、物聯(lián)網(wǎng)、移動通信等高新技術的廣泛應用以及政府和企業(yè)對農(nóng)業(yè)信息化建設的積極倡導和推動,我國的農(nóng)業(yè)信息化建設發(fā)展迅速,產(chǎn)生了各類農(nóng)業(yè)網(wǎng)站,提供了各種豐富多彩的農(nóng)業(yè)信息,為農(nóng)業(yè)用戶帶了極大的便利,用戶可通過搜索引擎方便地檢索所需要的農(nóng)業(yè)信息。但是,日益增長的農(nóng)業(yè)信息也給搜索引擎和農(nóng)業(yè)信息化建設帶來了極大的挑戰(zhàn):
　　第一,農(nóng)業(yè)信息化基礎設施配置普遍較低、且

2、較為分散,需要在現(xiàn)有的基礎上對其進行整合,達到資源的合理化和最大化利用;第二,面對海量的農(nóng)業(yè)信息數(shù)據(jù),傳統(tǒng)的集中式存儲方式對服務器設備配置要求越來越高,昂貴的采購費用不利于農(nóng)業(yè)信息化的發(fā)展;第三,如何從海量的農(nóng)業(yè)信息數(shù)據(jù)中快速準確地檢索到用戶所需要的信息,這給搜索引擎提出了更高的要求。
　　針對目前存在的以上問題,對農(nóng)業(yè)用戶的檢索需求進行調(diào)研分析,結合目前國內(nèi)外垂直搜索引擎的研究現(xiàn)狀,本文對農(nóng)業(yè)垂直搜索引擎進行了研究,研究內(nèi)容主要

3、有:
　　將Hadoop大數(shù)據(jù)技術引入農(nóng)業(yè)信息檢索工作中,在大規(guī)模廉價機器集群上采用開源分布式平臺Hadoop作為基礎架構,利用開源分布式數(shù)據(jù)庫HBase解決海量農(nóng)業(yè)數(shù)據(jù)的存儲問題,在深入研究Lucene全文檢索工具包的基礎上,結合MapReduce分布式計算模型在Hadoop上設計實現(xiàn)農(nóng)業(yè)信息資源的分布式存儲、分布式索引和分布式檢索。
　　本文主要創(chuàng)新點包括:
　　(1)設計了海量農(nóng)業(yè)信息資源在HBase中的存儲模式

4、,解決了大規(guī)模數(shù)據(jù)集的高效分布式存儲和實時隨機讀/寫問題。
　　(2)改變了Hadoop現(xiàn)有的文檔隨機劃分方案,運用Mahout機器學習框架在Hadoop上對海量文檔進行分類,按照分類建立分布式索引,根據(jù)用戶意圖對索引進行檢索從而減少了檢索時啟動的索引節(jié)點的數(shù)量,節(jié)省了系統(tǒng)開銷,提高了檢索效率。
　　(3)運用MapReduce分布式計算模型結合 Lucene原有索引機制實現(xiàn)了分布式索引和檢索;并且改變了 Lucene原有的