基于HDFS的學(xué)習(xí)資源庫數(shù)據(jù)存儲管理關(guān)鍵技術(shù)研究.pdf

1、學(xué)習(xí)資源庫是根據(jù)當(dāng)前教育信息化和網(wǎng)絡(luò)共享性的發(fā)展，由高?；蛘進(jìn)OOC平臺構(gòu)建和管理的一種學(xué)習(xí)資源共享平臺，主要以實(shí)現(xiàn)學(xué)習(xí)資源共享和擴(kuò)展高?；蛘進(jìn)OOC平臺的學(xué)習(xí)資源建設(shè)為目的。隨著海量學(xué)習(xí)資源的爆炸式增長，學(xué)習(xí)資源的存儲將面臨新的問題，例如學(xué)習(xí)資源的可靠性和可擴(kuò)展性存儲，以小文件為主的學(xué)習(xí)資源有效存儲，學(xué)習(xí)資源冗余數(shù)據(jù)去重等。本文在分析了當(dāng)前相關(guān)技術(shù)在解決上述問題優(yōu)缺點(diǎn)的基礎(chǔ)上，提出了新的技術(shù)解決方案，以解決學(xué)習(xí)資源庫海量數(shù)據(jù)有效存儲的

2、問題。
　　在海量學(xué)習(xí)資源的可靠性和可擴(kuò)展性存儲方面，本文提出了以HDFS存儲學(xué)習(xí)資源數(shù)據(jù)文件和以HBase數(shù)據(jù)庫存儲學(xué)習(xí)資源元數(shù)據(jù)信息的存儲架構(gòu)方案。結(jié)合文件壓縮存儲策略，提出了基于文件訪問頻率的混合副本存儲策略來優(yōu)化基于HDFS的學(xué)習(xí)資源庫數(shù)據(jù)存儲架構(gòu)的可靠性。采用HDFS的動(dòng)態(tài)添加節(jié)點(diǎn)策略實(shí)現(xiàn)學(xué)習(xí)資源庫的動(dòng)態(tài)水平擴(kuò)展，并且引用Balancer機(jī)制，以實(shí)現(xiàn)學(xué)習(xí)資源庫中各存儲節(jié)點(diǎn)的負(fù)載均衡。
　　在大量小文件的存儲方面，本

3、文利用用戶名的唯一性和HDFS的Append操作實(shí)現(xiàn)小文件合并來減少NameNode節(jié)點(diǎn)中元數(shù)據(jù)信息消耗的內(nèi)存空間，從而實(shí)現(xiàn)小文件有效存儲的目標(biāo)。
　　在學(xué)習(xí)資源冗余數(shù)據(jù)去重方面，本文結(jié)合Counting Bloom Filter算法，提出一種學(xué)習(xí)資源冗余數(shù)據(jù)去重技術(shù)，以解決頻繁地I/O操作問題和提高學(xué)習(xí)資源冗余數(shù)據(jù)去重的效率。
　　最后，本文開發(fā)并實(shí)現(xiàn)了一個(gè)學(xué)習(xí)資源庫數(shù)據(jù)存儲原型系統(tǒng)，針對本文提出的相關(guān)問題的解決方案，進(jìn)行