Spark框架下的人臉圖像檢索系統(tǒng)的設計與實現(xiàn).pdf

1、大數(shù)據時代數(shù)據呈爆炸式增長，海量數(shù)據的處理顯得愈發(fā)重要，因此多種大數(shù)據處理框架應運而生，如Hadoop，Strom，Spark等。在圖像處理領域，人臉識別技術經過幾十年的研究日漸成熟，正在逐步走向市場?；诖髷?shù)據的圖像檢索作為一個新的熱門課題，已經是高校、科研機構和公司的研究重點。
　　海量圖像數(shù)據檢索面臨兩個技術難點:一是怎樣利用算法降低整體計算量;二是如何基于分布式架構合理利用硬件資源提高計算效率。針對第一個難點，本文首先利用

2、PCA算法將128維的SIFT特征降至32維，其次將Canopy算法與K-Means算法相結合對降維后特征矩陣中的行向量進行聚類，并統(tǒng)計聚類后各特征矩陣的詞頻向量，再將所有圖像的詞頻向量輸入到Spark MLlib的LDA模型中，接著將圖像特征矩陣聚為K類。最終，用戶圖像的特征矩陣只需與同類別圖像的特征矩陣進行相似度計算。針對第二難點，本文利用集群分布式計算的特性來提高計算效率。本系統(tǒng)基于分布式架構的HBase數(shù)據庫和Spark框架，實

3、現(xiàn)了分布式的并行運算。同時，系統(tǒng)的核心算法Canopy、K-Means、LDA、歐式距離等都是基于Spark框架實現(xiàn)的并行化算法，能高效的運行在Spark框架上。
　　本文針對大數(shù)據環(huán)境下人臉圖像的檢索問題，設計并實現(xiàn)了基于Spark框架的人臉圖像檢索系統(tǒng)。本文完成的主要工作如下:
　　1.改進了Canopy和K-Means算法，并基于Spark框架實現(xiàn)了改進的算法。將改進的兩種算法分別與Hadoop機器學習庫Mahout或

4、Spark機器學習庫MLlib的同類算法進行對比。實驗顯示改進的算法在Spark框架上取得更高的計算效率。
　　2.檢索系統(tǒng)的特征匹配子系統(tǒng)分別用Spark和Hadoop機器學習庫中的算法進行了實現(xiàn)，并對兩種實現(xiàn)方案的檢索性能進行了實驗對比。實驗顯示在人臉圖像快速檢索方面Spark框架比Hadoop框架具有更優(yōu)秀的計算性能。
　　3.設計并實現(xiàn)了基于Spark框架的人臉圖像檢索系統(tǒng)。該系統(tǒng)由三個子系統(tǒng)組成:數(shù)據庫子系統(tǒng)、用戶