感動(dòng)Hadoop平臺(tái)的教育資源垂直搜索系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、互聯(lián)網(wǎng)的出現(xiàn)改變了我們的生活、工作、學(xué)習(xí)乃至娛樂(lè)的方式。網(wǎng)上豐富的基礎(chǔ)教育資源為廣大基礎(chǔ)教育工作者、學(xué)生以及學(xué)生家長(zhǎng)提供了充足的參考資料和教育信息，然而由于缺乏行之有效的整合標(biāo)準(zhǔn)和手段，目前這些資源的分布呈現(xiàn)高度分散狀態(tài)，內(nèi)容龐雜無(wú)序，結(jié)構(gòu)化程度低，用戶(hù)往往難以快速準(zhǔn)確地獲取到自己需要的信息。所以我們必須研究和設(shè)計(jì)出針對(duì)教育資源搜索的網(wǎng)絡(luò)平臺(tái)，以提高用戶(hù)獲取教育資源信息的速度和準(zhǔn)確度。
　　 本文通過(guò)對(duì)現(xiàn)有的互聯(lián)網(wǎng)搜索平臺(tái)的分析

2、，借鑒其他應(yīng)用領(lǐng)域的垂直搜索平臺(tái)所采用的架構(gòu)和設(shè)計(jì)方法，通過(guò)使用Hadoop平臺(tái)的分層分布的架構(gòu)和聚焦蜘蛛的爬行技術(shù)，提出基于Hadoop平臺(tái)的B/S多層分布式架構(gòu)系統(tǒng)模型，給出提高搜索運(yùn)行效率的若干關(guān)鍵技術(shù)，并基于該架構(gòu)的設(shè)計(jì)實(shí)現(xiàn)了系統(tǒng)。本文的主要工作包括：
　　 (1)通過(guò)對(duì)Hadoop平臺(tái)的基本原理和架構(gòu)以及Hadoop平臺(tái)的兩個(gè)核心組件HDFS與Map/Reduce的分析，選擇Hbase對(duì)系統(tǒng)的數(shù)據(jù)進(jìn)行管理，并對(duì)可視化系

3、統(tǒng)的Hbase數(shù)據(jù)模型的設(shè)計(jì)以及條件查詢(xún)的改進(jìn)進(jìn)行闡述。
　　 (2)基于抽樣調(diào)查和教育經(jīng)驗(yàn)，進(jìn)行MDVSP的軟件需求分析，設(shè)計(jì)基于Hadoop平臺(tái)的教育資源垂直搜索(MDVSP)架構(gòu)模型。該架構(gòu)模型把業(yè)務(wù)處理服務(wù)器與Web服務(wù)器分開(kāi)，采用并行計(jì)算提高業(yè)務(wù)處理能力，使得基于該架構(gòu)模型下的系統(tǒng)具有良好的可伸縮性、可擴(kuò)展性、可維護(hù)性和更高的安全性。
　　 (3)研究基于Hadoop平臺(tái)的教育資源搜索系統(tǒng)所采用的關(guān)鍵技術(shù)，包括