高考數(shù)據(jù)分布式存儲(chǔ)優(yōu)化的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、近年來(lái)，信息產(chǎn)業(yè)在各行各業(yè)的飛速發(fā)展催生了行業(yè)數(shù)據(jù)的爆炸性增長(zhǎng)，當(dāng)然也包括教育高考領(lǐng)域。眾所周知，每年的高考都會(huì)產(chǎn)生海量的高考數(shù)據(jù)，如何快速高效的存儲(chǔ)這些海量的高考數(shù)據(jù)是一個(gè)值得研究的重要課題。在面對(duì) TB級(jí)別甚至是 PB級(jí)別的海量數(shù)據(jù)時(shí)傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)對(duì)數(shù)據(jù)的存儲(chǔ)能力日漸乏力。伴隨著大規(guī)模數(shù)據(jù)的出現(xiàn)催生了不少存儲(chǔ)這些數(shù)據(jù)的技術(shù)。其中谷歌的GFS和Apache的HDFS就是兩種比較典型的大數(shù)據(jù)分布式存儲(chǔ)技術(shù)，而在當(dāng)下比較受歡迎的當(dāng)屬A

2、pache公司的HDFS。HDFS的出現(xiàn)使得企業(yè)可以采用大量廉價(jià)機(jī)器組成的集群對(duì)海量的數(shù)據(jù)進(jìn)行分布式存儲(chǔ)，但是HDFS的分布式文件存儲(chǔ)由一個(gè)主節(jié)點(diǎn)控制多個(gè)從數(shù)據(jù)節(jié)點(diǎn)的存儲(chǔ)方式容易出現(xiàn)主節(jié)點(diǎn)瓶頸問(wèn)題。對(duì)于本文研究的高考數(shù)據(jù)來(lái)說(shuō)，如果采用HDFS來(lái)存儲(chǔ)海量的高考數(shù)據(jù)，當(dāng)大量的考生同時(shí)在線查詢成績(jī)時(shí)，來(lái)自不同客戶端的請(qǐng)求都會(huì)涌入HDFS的主節(jié)點(diǎn)，這對(duì)HDFS的主節(jié)點(diǎn)來(lái)說(shuō)是一個(gè)極大的挑戰(zhàn)。
　　針對(duì)上述問(wèn)題，本文通過(guò)對(duì) HDFS分布式存儲(chǔ)

3、技術(shù)進(jìn)行深入研究分析，提出了一種HDFS+MongoDB的分布式存儲(chǔ)方案來(lái)解決HDFS主節(jié)點(diǎn)瓶頸問(wèn)題，從而使高考數(shù)據(jù)分布式存儲(chǔ)更加優(yōu)化，考生查詢成績(jī)效率更高。基于上述分析，本文主要的研究工作如下：
　　（1）首先明確了課題的選題背景及意義，接著對(duì)論文中應(yīng)用到分布式存儲(chǔ)技術(shù)、高考信息化技術(shù)、以及Spark大數(shù)據(jù)平臺(tái)技術(shù)的發(fā)展現(xiàn)狀進(jìn)行了分析。
　?。?）分析了利用 HDFS分布式存儲(chǔ)技術(shù)存儲(chǔ)高考數(shù)據(jù)出現(xiàn)的主節(jié)點(diǎn)瓶頸問(wèn)題，進(jìn)而提出

4、了一種HDFS+MongoDB的分布式存儲(chǔ)高考數(shù)據(jù)的優(yōu)化方案。
　　（3）根據(jù)招生考試院的具體要求對(duì)采用優(yōu)化存儲(chǔ)方案的高考成績(jī)查詢系統(tǒng)從用戶角度、功能性角度、非功能性角度等進(jìn)行了詳細(xì)的需求分析，并根據(jù)需求分析從系統(tǒng)的總體結(jié)構(gòu)、系統(tǒng)功能、系統(tǒng)數(shù)據(jù)庫(kù)和HDFS+MongoDB分布式存儲(chǔ)等四個(gè)方面進(jìn)行了詳細(xì)設(shè)計(jì)。
　?。?）基于系統(tǒng)的詳細(xì)設(shè)計(jì)給出了具體的實(shí)現(xiàn)方法。采用黑盒測(cè)試方法對(duì)系統(tǒng)的功能進(jìn)行了測(cè)試，并從響應(yīng)時(shí)間、吞吐量、并發(fā)量