Hadoop環(huán)境下基于BoF模型的圖像分類方法研究.pdf

1、當前我們正處在一個數(shù)據(jù)爆炸式增長的大數(shù)據(jù)時代,在大數(shù)據(jù)中,主要以半結(jié)構(gòu)化和非結(jié)構(gòu)化的數(shù)據(jù)為主,例如文本、圖像和視頻等。同時,挖掘分析這些多媒體資源也成為人們收集信息的重要途徑,而對于圖像數(shù)據(jù)的挖掘,圖像分類是一個基本且重要的問題。近年來 BoF圖像表示模型在圖像分類領域得到了廣泛的應用與研究,也取得了較好的性能。但是大多數(shù)的研究關注的是中等規(guī)模的圖像數(shù)據(jù)集,這些數(shù)據(jù)集是能夠放入單臺計算內(nèi)存的。顯然面對當下大規(guī)模的圖像數(shù)據(jù),這些單機的處理

2、算法是不合適的。在海量文本數(shù)據(jù)分析領域,Hadoop作為一個優(yōu)秀的分布式處理平臺得到了廣泛應用。對于大規(guī)模的圖像分類應用而言,如果能夠結(jié)合Hadoop以及BoF圖像模型,將基于BoF模型的圖像分類技術用于大規(guī)模數(shù)據(jù)集的圖像分類將是很有意義和應用前景的。
　　本文首先研究分析了傳統(tǒng)的BoF構(gòu)建過程以及核心算法,包括圖像特征的提取與表示、視覺詞典的生成以及圖像的BoF表示等算法。然后通過擴展Hadoop平臺的支持數(shù)據(jù)類型,使得海量圖像

3、數(shù)據(jù)能夠在Hadoop平臺方便地表示、存儲和處理。同時將Opencv開源計算機視覺庫集成到Hadoop,使得在Hadoop平臺能夠方便地應用一些現(xiàn)有的計算機視覺算法。最后研究分析了 MapReduce框架下算法設計方法和模式,結(jié)合Opencv開源計算機視覺庫,提出了BoF構(gòu)建過程中的圖像特征提取與表示的MapReduce算法。使用Mapper內(nèi)合并MapReduce算法設計模式改進了用于視覺詞典構(gòu)建的現(xiàn)有PKMeans聚類算法,在減少M

4、ap和Reduce之間傳輸數(shù)據(jù)量的同時提高了算法速度。分析對比了在生成 BoF圖像表示時的視覺單詞的加權(quán)策略,提出了生成圖像的BoF表示的MapReduce算法。在研究了分布式SVM訓練方法的基礎上,結(jié)合SMO支持向量機訓練算法,提出 Hadoop平臺上的支持向量機訓練的MapReduce算法。以上核心算法的實現(xiàn)可以處理更大規(guī)模的圖像數(shù)據(jù)集。
　　搭建了實驗平臺,對比了 MapReduce算法和單機的算法之間的效率以及適用的數(shù)據(jù)集