基于海量高維圖像的大數(shù)據(jù)處理框架.pdf

1、目前國(guó)內(nèi)外在數(shù)字圖像處理方面的研究已經(jīng)非常完善,在許多應(yīng)用領(lǐng)域都受到了廣泛的應(yīng)用。同時(shí)隨著云計(jì)算概念的普及,大數(shù)據(jù)處理也開(kāi)始為人所重視,一些大公司也開(kāi)始了這方面的研究,通過(guò)對(duì)海量的數(shù)據(jù)進(jìn)行收集、分析、整理,是其中的主要任務(wù),更具體的方面是使用一些大數(shù)據(jù)的平臺(tái),比如Hadoop,在平臺(tái)的基礎(chǔ)上進(jìn)行開(kāi)發(fā),最終的目的是開(kāi)發(fā)出適用于大數(shù)據(jù)的應(yīng)用。但是利用大數(shù)據(jù)來(lái)進(jìn)行數(shù)字圖像處理還尚在探索階段,本文擬設(shè)計(jì)實(shí)現(xiàn)一個(gè)以Hadoop Map-Reduc

2、e開(kāi)源平臺(tái)為基礎(chǔ),為海量高維圖像數(shù)據(jù)進(jìn)行處理的大數(shù)據(jù)處理框架,與此同時(shí)還此架構(gòu)基礎(chǔ)上將一些傳統(tǒng)的單機(jī)圖像處理算法進(jìn)行并行實(shí)現(xiàn),為其他的復(fù)雜算法奠定基礎(chǔ)。本研究將彌補(bǔ)傳統(tǒng)算法在處理海量高維圖像時(shí)的一些缺陷,比如處理時(shí)間過(guò)長(zhǎng);存儲(chǔ)調(diào)度效率低等,同時(shí)提高了性能表現(xiàn)。
　　本課題在對(duì)傳統(tǒng)單機(jī)圖像處理和分布式圖像處理分析的基礎(chǔ)上,重點(diǎn)研究了如何在面對(duì)海量高維圖像大數(shù)據(jù)時(shí),能夠在以不犧牲處理效果的基礎(chǔ)上顯著提高圖像處理的時(shí)間性能。具體工作包括

3、以下幾個(gè)方面:
　　1.詳細(xì)描述并分析了傳統(tǒng)單機(jī)圖像處理與使用分布式方式進(jìn)行圖像處理在面對(duì)海量高維圖像時(shí)的種種不足,包括單機(jī)處理在時(shí)間性能上的巨大劣勢(shì),數(shù)據(jù)存儲(chǔ)上的不足以及現(xiàn)階段在使用分布式方式處理像圖像這樣的小文件上的不適應(yīng)。通過(guò)這些分析,找到本課題的切入點(diǎn),進(jìn)而得到框架在設(shè)計(jì)上的需求。
　　2.針對(duì)海量高維圖像的特性,設(shè)計(jì)了全新的圖像數(shù)據(jù)表征方式和存儲(chǔ)模型,本課題將原有圖片小文件通過(guò)解碼之后,提取出一些關(guān)鍵信息存入到新設(shè)

4、計(jì)的圖像數(shù)據(jù)表征方式中,再存入一個(gè)大文件的存儲(chǔ)模型中,同時(shí)在存儲(chǔ)模型中建立對(duì)應(yīng)的索引,最后存儲(chǔ)在分布式文件系統(tǒng)中。
　　3.提出了一種新的并行圖像處理模型。以第2點(diǎn)的圖像數(shù)據(jù)表征方式和存儲(chǔ)模型為基礎(chǔ),結(jié)合MapReduce處理框架,設(shè)計(jì)輸入輸出接口,讓圖像算法真正的以并行方式處理,大大提升圖像處理的時(shí)間性能。
　　4.提出一個(gè)低延遲調(diào)度框架。該框架能夠?qū)υ诰€(xiàn)的實(shí)時(shí)數(shù)據(jù)處理請(qǐng)求進(jìn)行低延遲的響應(yīng),并且能夠從配置文件中讀取參數(shù)來(lái)進(jìn)