基于HDFS的創(chuàng)新知識(shí)存儲(chǔ)及分發(fā)架構(gòu)的研究與設(shè)計(jì).pdf

1、創(chuàng)新知識(shí)的運(yùn)用受到了越來(lái)越多的關(guān)注。其中突出存在的一個(gè)問(wèn)題是解決創(chuàng)新知識(shí)社會(huì)共享和敏感知識(shí)私有的矛盾。只有創(chuàng)新知識(shí)的全社會(huì)共享才能最大限度發(fā)揮創(chuàng)新知識(shí)的再利用價(jià)值，然而各個(gè)團(tuán)體或者組織所擁有的知識(shí)都具有鮮明的特色并且總會(huì)存在一些不適合于共享的私有知識(shí)。同時(shí)在資源和性能等條件的約束下，這些團(tuán)體也面臨著無(wú)法完全接觸共享知識(shí)全集的問(wèn)題。因此有必要設(shè)計(jì)一種分布式創(chuàng)新管理共享架構(gòu)，完成創(chuàng)新知識(shí)的收集、加工、存儲(chǔ)及分發(fā)等任務(wù)，促進(jìn)創(chuàng)新知識(shí)的社會(huì)共享

2、。面對(duì)海量的創(chuàng)新知識(shí)，當(dāng)前傳統(tǒng)的存儲(chǔ)結(jié)構(gòu)難以滿足性能上的需求。而Hadoop的分布式文件系統(tǒng)HDFS憑借著高性能、高容錯(cuò)性等優(yōu)勢(shì)等已成為業(yè)界研究云計(jì)算與云存儲(chǔ)的標(biāo)準(zhǔn)模型。但是其在海量小文件存儲(chǔ)和主節(jié)點(diǎn)單點(diǎn)故障等問(wèn)題上依然存在著不足，難以直接提供高效可靠的存儲(chǔ)服務(wù)。
　　本文在創(chuàng)新知識(shí)云平臺(tái)上設(shè)計(jì)并實(shí)現(xiàn)了一種分布式的彈性計(jì)算架構(gòu)模型。模型在建立創(chuàng)新知識(shí)云平臺(tái)和創(chuàng)新基地之間的分布式關(guān)系的基礎(chǔ)上，設(shè)計(jì)實(shí)現(xiàn)了創(chuàng)新知識(shí)的收集和分發(fā)等管理流程

3、，給出了知識(shí)分發(fā)階段從共享知識(shí)全集中篩選出知識(shí)需求的形式化規(guī)約及相關(guān)實(shí)現(xiàn)。在創(chuàng)新知識(shí)存儲(chǔ)方面，通過(guò)引入包文件及分布式索引服務(wù)，改進(jìn)了HDFS小文件存儲(chǔ)的效率問(wèn)題；引入備份集群的概念優(yōu)化命名空間備份及故障恢復(fù)服務(wù)以及引入了內(nèi)存數(shù)據(jù)緩存系統(tǒng)，進(jìn)一步提升存儲(chǔ)速度，實(shí)現(xiàn)了可用性更強(qiáng)、資源利用率更高的HDFS高可用架構(gòu)。
　　創(chuàng)新知識(shí)云平臺(tái)為創(chuàng)新知識(shí)提供了一條靈活的傳播通路。通過(guò)理論推導(dǎo)和相關(guān)實(shí)驗(yàn)結(jié)論可以看出，該模型結(jié)構(gòu)解決了知識(shí)共享的與私