人臉表情識(shí)別中幾個(gè)關(guān)鍵問(wèn)題的研究.pdf

1、自動(dòng)人臉表情識(shí)別(AFER)是近年來(lái)發(fā)展起來(lái)的研究熱點(diǎn)，其目的是讓計(jì)算機(jī)等機(jī)器辨認(rèn)出人類特有的情感表現(xiàn)之一——表情。由于人表情的復(fù)雜、微妙等特性使得表情識(shí)別變得異常的具有挑戰(zhàn)與艱巨性，就整個(gè)識(shí)別系統(tǒng)來(lái)說(shuō)，主要表現(xiàn)在以下幾個(gè)方面：(1)人臉數(shù)據(jù)獲取的速度與準(zhǔn)確率問(wèn)題；(2)作為識(shí)別必要前提條件的面部關(guān)鍵特征精確定位問(wèn)題；(3)表情特征的提取與識(shí)別問(wèn)題。本文重點(diǎn)探討了人臉表情識(shí)別中的上述關(guān)鍵問(wèn)題。主要工作總結(jié)如下： 1.從情感出發(fā)，

2、在簡(jiǎn)要介紹情緒理論的基礎(chǔ)上，全面綜述了表情識(shí)別的研究歷史與現(xiàn)狀。討論了情感計(jì)算在國(guó)際與國(guó)內(nèi)的研究狀況，介紹了情感的基礎(chǔ)情緒的基本理論，重點(diǎn)而全面地綜述了情緒的表達(dá)方式之一——面部表情的識(shí)別技術(shù)。將人臉表情識(shí)別工作劃分為兩個(gè)部分，概括地描述了表情識(shí)別的一般模型。根據(jù)表情識(shí)別的目的、手段將其分為三個(gè)階段，對(duì)每個(gè)階段的研究特點(diǎn)以及代表性方法進(jìn)行了較為詳盡的介紹。從面部特征自動(dòng)定位、人臉表示模型、分類和識(shí)別算法三個(gè)角度對(duì)人臉表情識(shí)別領(lǐng)域的主要技

3、術(shù)方法進(jìn)行了分類整理，闡述了人臉表情識(shí)別的研究現(xiàn)狀。簡(jiǎn)要介紹了幾種主要的人臉表情庫(kù)，總結(jié)了現(xiàn)有的主要人臉表情識(shí)別系統(tǒng)的情況。最后，本文討論了人臉表情識(shí)別領(lǐng)域目前仍然面臨的主要技術(shù)難題和開(kāi)放問(wèn)題。 2.研究了基于膚色與模板的人臉檢測(cè)問(wèn)題，提出了一種基于膚色與梯度模板的人臉檢測(cè)算法。人臉檢測(cè)是人臉研究中的必要研究課題，已經(jīng)出現(xiàn)了多種經(jīng)典算法。但是基于膚色的人臉檢測(cè)研究時(shí)間并不長(zhǎng)。本文在前人對(duì)膚色空間的研究成果基礎(chǔ)上，采用了一種新的人

4、臉匹配模板——梯度模板，試圖使其包含有盡量多的人臉信息。整個(gè)算法達(dá)到了膚色空間過(guò)濾大部分非膚色區(qū)域，人臉梯度模板準(zhǔn)確檢測(cè)的效果。 3.研究了特征精確配準(zhǔn)問(wèn)題，對(duì)活動(dòng)模板模型在搜索空間與搜索過(guò)程上做了一些改進(jìn)。面部特征精確配準(zhǔn)是魯棒實(shí)用的人臉表情識(shí)別系統(tǒng)的基本前提。主動(dòng)形狀模型(ASM)是目前解決該問(wèn)題的主流方法。本文詳盡地分析主動(dòng)形狀模型(ASM)的工作原理，仔細(xì)地討論了它的優(yōu)缺點(diǎn)，并在此基礎(chǔ)上，提出了三點(diǎn)改進(jìn)：(1)針對(duì)經(jīng)典A

5、SM算法中模型空間構(gòu)造的不足，在原模型空間的基礎(chǔ)上加入了形狀變化子空間，提出了最優(yōu)搜索空間的概念，提高了原模型空間的模型表達(dá)能力(2)針對(duì)經(jīng)典ASM算法及其以后的改進(jìn)算法中沒(méi)有任何對(duì)搜索結(jié)果進(jìn)行評(píng)價(jià)的現(xiàn)實(shí)，提出了一種合理、簡(jiǎn)便、易行的評(píng)價(jià)方法，使搜索過(guò)程變得不再盲目，搜索結(jié)果更符合實(shí)際情況。 (3)在第二步評(píng)價(jià)的基礎(chǔ)上，針對(duì)ASM算法搜索過(guò)程中模型搜索和圖像紋理搜索相互獨(dú)立的缺點(diǎn)，提出了一種最優(yōu)搜索算法，其中使用了反饋策略，使得

6、兩種空間的搜索結(jié)果互相約束，互相利用，搜索過(guò)程變得更加合理，智能。這些改進(jìn)在一定程度上彌補(bǔ)了ASM算法中模型空間與搜索過(guò)程的不足，更能夠比較精確地定位預(yù)定義的面部關(guān)鍵特征。為后續(xù)的人臉表情識(shí)別打下了良好的配準(zhǔn)基礎(chǔ)。 4.研究了獨(dú)立分量特征(IC)人臉表情表示方法，提出了一種AdaICA人臉表情識(shí)別新方法。利用獨(dú)立分量作為特征進(jìn)行判別分析，不僅是特征之間相互獨(dú)立，而且還能充分利用變量的高階統(tǒng)計(jì)量信息，具有很強(qiáng)的優(yōu)勢(shì)。但是它具有兩個(gè)

7、方面的缺陷：第一，獨(dú)立基的獲取結(jié)果很隨機(jī)，并不唯一。第二，獨(dú)立基的判別分析性能不穩(wěn)定，有的獨(dú)立基可能具有很強(qiáng)的識(shí)別能力，有的則相對(duì)較弱?？偟膩?lái)說(shuō)是獲取與選擇獨(dú)立基成為兩大難點(diǎn)。針對(duì)這個(gè)問(wèn)題，本文考慮了統(tǒng)計(jì)性原理，多次運(yùn)行ICA算法，在此基礎(chǔ)上，將Boosting策略創(chuàng)新性地應(yīng)用于ICA特征的優(yōu)化與選擇，最終得到數(shù)目較少、判別分析能力較強(qiáng)的AdaIC特征，并最終通過(guò)對(duì)AdaIC特征的判別分析實(shí)現(xiàn)人臉表情識(shí)別——即所謂的AdaICA人臉表情

8、識(shí)別新方法。在JAFFE與自選兩個(gè)人臉表情圖像庫(kù)上的對(duì)比實(shí)驗(yàn)表明AdaICA方法可以有效提取判別特征，識(shí)別精度也比傳統(tǒng)方法有了較大提高。 5.研究了基于離散小波與離散余弦的人臉表情全局特征提取與分析方法。簡(jiǎn)單地研究了全局表情特征的提取問(wèn)題，采用離散小波對(duì)圖像進(jìn)行壓縮，利用離散余弦變換對(duì)壓縮圖像進(jìn)行去相關(guān)、聚能運(yùn)算，并將最終的對(duì)角拉直主要能量數(shù)據(jù)作為待識(shí)別特征。算法簡(jiǎn)單，實(shí)現(xiàn)容易。 6.研究了基于局部特征的表情分析方法，提

9、出了一種新的局部二元模式表情識(shí)別算法。由于表情是由一些局部肌肉變形組合而來(lái)，準(zhǔn)確的局部特征在表情識(shí)別中應(yīng)該具有很強(qiáng)的優(yōu)勢(shì)。但是以下幾點(diǎn)需要注意：第一，采用的算法能夠真正地提取局部特征，真正地反映局部的拓?fù)浣Y(jié)構(gòu)或者是空間信息，而不是將全局特征提取算法用在圖像的局部上。第二，提取的特征對(duì)局部的變化很敏感，微小的局部變化都應(yīng)該被反應(yīng)出來(lái)，以保證準(zhǔn)確地提取很細(xì)微的表情特征。第三，具有一定的組合能力，因?yàn)楸砬槭蔷植啃巫兊慕M合。基于以上幾點(diǎn)考慮，本

10、文引入了在圖形學(xué)中具有很強(qiáng)描述紋理能力的局部二元模式(LocalBinaryPatterns，LBP)算法，改進(jìn)了其中的三點(diǎn)對(duì)表情識(shí)別不利的因素：(1)將原圖像經(jīng)過(guò)小波包分解并在其它頻率圖像為零的情況下重構(gòu)，得到了四幅與原圖像大小相等的不同頻率圖像，在一定程度上增加了原圖像的數(shù)據(jù)，改進(jìn)了原算法數(shù)據(jù)量不足的問(wèn)題。(2)將圖像由粗到精的方式分為好多LBP直方圖塊，采用級(jí)聯(lián)的策略串聯(lián)每個(gè)塊中的LBP直方圖，這種提取方式的改進(jìn)使得最終的特征同時(shí)