基于Hadoop存儲(chǔ)的文件管理系統(tǒng)的研究與實(shí)現(xiàn).pdf

1、互聯(lián)網(wǎng)技術(shù)的日新月異和云存儲(chǔ)技術(shù)的突飛猛進(jìn),帶來(lái)了數(shù)據(jù)存儲(chǔ)方式的巨大變革,促進(jìn)了網(wǎng)絡(luò)硬盤(pán)的快速發(fā)展。網(wǎng)絡(luò)硬盤(pán)改變著人們進(jìn)行文件管理的方式,而針對(duì)中小企業(yè)海量數(shù)據(jù)的文件管理系統(tǒng)發(fā)展卻相對(duì)滯后,因此,研究適用于中小企業(yè)的文件管理系統(tǒng)尤為重要。
　　本文在分析了文件管理系統(tǒng)的功能和性能需求的基礎(chǔ)上,給出了系統(tǒng)的總體架構(gòu)方案、開(kāi)放型結(jié)構(gòu)封裝方案、文件上傳方案和用戶信息管理優(yōu)化方案,并對(duì)上述方案進(jìn)行了具體實(shí)現(xiàn)。在總體方案中,設(shè)計(jì)了總體功能結(jié)

2、構(gòu)方案,并根據(jù)功能結(jié)構(gòu)劃分設(shè)計(jì)了服務(wù)器部署方案;在開(kāi)放型結(jié)構(gòu)封裝中,將底層功能接口資源化,實(shí)現(xiàn)資源的遠(yuǎn)程調(diào)用,并將資源調(diào)用方法封裝成開(kāi)發(fā)包,供其它開(kāi)發(fā)平臺(tái)使用,增強(qiáng)系統(tǒng)的開(kāi)放性;在文件上傳中,進(jìn)行文件動(dòng)態(tài)分割,實(shí)現(xiàn)文件多線程上傳,利用增量算法實(shí)現(xiàn)文件斷點(diǎn)續(xù)傳,提高文件上傳效率,結(jié)合消息隊(duì)列管理服務(wù),實(shí)現(xiàn)文件離線傳輸?shù)紿adoop分布式存儲(chǔ)服務(wù)器;在用戶信息管理中,建立用戶與文件信息的兩級(jí)索引,將結(jié)構(gòu)化的數(shù)據(jù)轉(zhuǎn)換為半結(jié)構(gòu)化的樹(shù)目錄數(shù)據(jù)存儲(chǔ)