基于Hadoop的人臉圖像識(shí)別并行處理方法研究與實(shí)現(xiàn).pdf

1、近年來(lái)，隨著網(wǎng)絡(luò)的發(fā)展，網(wǎng)絡(luò)圖像數(shù)據(jù)量劇增，怎樣高效地分析和處理這些海量圖像數(shù)據(jù)成為各領(lǐng)域的研究熱點(diǎn)。人臉圖像作為海量圖像數(shù)據(jù)中重要成分，它是各監(jiān)控和安保領(lǐng)域識(shí)別個(gè)體的重要依據(jù)。面對(duì)海量的人臉數(shù)據(jù)庫(kù)，怎樣高效地進(jìn)行人臉識(shí)別，已成為各監(jiān)控和安保領(lǐng)域研究的關(guān)鍵性問(wèn)題。因此針對(duì)海量人臉識(shí)別算法的效率研究，是一個(gè)具有理論研究意義和實(shí)際應(yīng)用價(jià)值的課題。
　　云計(jì)算是目前處理海量數(shù)據(jù)的前沿技術(shù)，其中以Hadoop云平臺(tái)為代表，廣泛應(yīng)用于各領(lǐng)域

2、海量大文件的處理，并已取得了較好成效，但對(duì)于海量的小文件處理（如人臉圖像識(shí)別）研究還不成熟。本文在海量人臉識(shí)別算法的效率研究過(guò)程中引入Hadoop技術(shù)，對(duì)云計(jì)算在海量小文件處理上表現(xiàn)的性能和優(yōu)勢(shì)進(jìn)行分析，并提出優(yōu)化策略，有助于Hadoop技術(shù)的應(yīng)用領(lǐng)域推廣。本文的主要工作如下。
　　本文首先進(jìn)行人臉特征提取方法的選取，在常用的Feret、ORL、Yale和AR四種人臉庫(kù)里進(jìn)行基于典型特征方法的人臉識(shí)別性能測(cè)試，通過(guò)實(shí)驗(yàn)選定出綜合表

3、現(xiàn)最好的局部定向模式為整個(gè)人臉識(shí)別過(guò)程的特征方法，為后續(xù)工作奠定基礎(chǔ)。其次，研究利用Hadoop并行化處理人臉數(shù)據(jù)方法，通過(guò)深入研究Hadoop框架，發(fā)現(xiàn)其不提供圖像處理的IO接口，而且在對(duì)海量小文件直接處理時(shí)，Hadoop表現(xiàn)出既耗時(shí)又耗內(nèi)存。針對(duì)這些問(wèn)題，本文將Hadoop提供的組合分片技術(shù)引入到小文件處理過(guò)程，通過(guò)小文件在邏輯上組合成大文件的方式，解決了Hadoop讀取海量小文件時(shí)效率低下的問(wèn)題，經(jīng)過(guò)并行化實(shí)驗(yàn)驗(yàn)證了該方案的可行性

4、和高效性。進(jìn)一步研究發(fā)現(xiàn)該方法存在內(nèi)存消耗大的不足，本文通過(guò)引入SequenceFile方法，將海量小文件打包成大文件的形式存儲(chǔ)和供Hadoop處理，可以充分利用Hadoop處理大數(shù)據(jù)的優(yōu)勢(shì)，減少海量小文件給HDFS帶來(lái)的存儲(chǔ)壓力，經(jīng)過(guò)實(shí)驗(yàn)表明該方案可使Hadoop輕松應(yīng)對(duì)海量小圖片。最后，本文基于Hadoop實(shí)現(xiàn)人臉識(shí)別并行化，實(shí)驗(yàn)證明利用Hadoop可有效地提升了人臉識(shí)別整個(gè)流程的效率，為人臉識(shí)別的大規(guī)模應(yīng)用提供了一種可行的解決方案