基于Hadoop的教育資源共享平臺的設計與實現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)技術在教育應用領域的不斷深入，與教育行業(yè)相關的業(yè)務數(shù)據(jù)呈指數(shù)增長，呈現(xiàn)出海量、多樣、復雜、異構和高價值等特點。豐富的基礎教育資源為廣大教育工作者、學生及家長提供了充足的參考資料和教育信息，然而由于數(shù)據(jù)來自各個異構的應用系統(tǒng)，缺乏行之有效的整合標準和手段，目前這些資源的分布呈現(xiàn)高度分散狀態(tài)，內(nèi)容龐雜無序，規(guī)范化程度較低，用戶往往難以快速準確地獲取自己所需的信息。因此研究和設計教育資源共享平臺，實現(xiàn)對海量數(shù)據(jù)的高效存儲和管理，提高

2、用戶獲取資源的速度和準確度是教育工作者研究的熱點課題。針對以上問題，本文在分析和研究了教育資源特點和分類的基礎上對教育資源模型進行設計和實現(xiàn)，并對分布式Hadoop架構進行介紹，著重研究 Hadoop分布式文件系統(tǒng)（HDFS）、分布式計算模型（MapReduceV2）、開源數(shù)據(jù)庫（HBase）和搜索服務器（Solr）相關理論和技術。搭建Hadoop集群并對HBase和SolrCloud進行整合，設計和實現(xiàn)了一個分布式資源存儲和實時檢索方

3、案。將Hadoop技術用于教育資源模塊和用戶日志模塊，實現(xiàn)了基于Hadoop的教育資源共享平臺。
　　本研究主要內(nèi)容包括：⑴對Hadoop平臺的基本原理和架構進行分析，重點研究了HDFS文件系統(tǒng)、MapReduceV2計算模型和HBase分布式數(shù)據(jù)庫技術，并將MapReduce用于PC端用戶日志統(tǒng)計分析，將HBase和SolrCloud相結(jié)合用于教育資源分布式存儲和實時檢索。⑵在進行需求分析和用例設計的基礎上，確定了基于Hadoo

4、p的教育資源共享平臺的系統(tǒng)目標、架構模型和各功能模塊。⑶在研究基于Hadoop的教育資源存儲檢索相關技術的基礎上，設計了一個基于 J2EE的教育資源共享平臺，該系統(tǒng)包括表現(xiàn)層、業(yè)務邏輯層、持久化層和數(shù)據(jù)庫層，并對每一層的功能模塊進行了設計和實現(xiàn)。⑷根據(jù)系統(tǒng)設計方案，搭建測試系統(tǒng)的軟硬件環(huán)境和 Hadoop分布式集群，對系統(tǒng)的各個功能模塊逐一進行測試，驗證了本系統(tǒng)設計的可用性。⑸最后，對該系統(tǒng)目前的運行情況和存在問題進行分析，并對該平臺的