基于面部視頻的疲勞狀態(tài)分析與理解.pdf

1、疲勞駕駛已經(jīng)成為引發(fā)交通事故的重要原因，對駕駛疲勞的檢測是人機交互、計算機視覺等領(lǐng)域的重要研究內(nèi)容。基于面部視頻的疲勞狀態(tài)分析與理解的目的就是要賦予計算機一定程度的對人類疲勞狀態(tài)分析與理解的能力。 多數(shù)已有的疲勞識別方法本質(zhì)上利用疲勞的單個面部圖像中的視覺特征進行識別，是基于空間信息的方法。這些方法沒有建模疲勞的運動特性，對視頻中一幀一幀的圖像進行識別沒有利用時間上的信息。論文在總結(jié)分析已有方法的基礎(chǔ)上，在基于面部視頻的疲勞分析

2、和理解的幾個方面提出了若干創(chuàng)新性想法，并給出了令人滿意的實驗結(jié)果。本文的主要貢獻和創(chuàng)新點包括： (1)在基于面部圖像的疲勞分析中，針對疲勞時面部的3類表現(xiàn)特征，分別提出了新的分析理解方法。 眼部的閉合、打哈欠和整臉的一些表現(xiàn)是疲勞最主要的表現(xiàn)信息，論文結(jié)合相應(yīng)疲勞表現(xiàn)的特點分別提出了新的分析方法。嘴部的高度、寬度等幾何特征是打哈欠分析常用的特征。針對幾何特征使用的部分特征點難于定位，考慮到嘴角的紋理同樣包含豐富的打哈欠信

3、息，論文提出了一種利用嘴角的紋理特征檢測打哈欠的新方法。眼部張開的程度是現(xiàn)有眼睛閉合分析中比較常用的特征，它要求比較精確的眼部特征點定位，事實上此時眼部的紋理也有明顯的變化。結(jié)合紋理描述算子Local Binary Pattern(LBP)，論文提出了一種基于眼部紋理特征AdaBoosted LBP判定眼睛閉合的方法。多數(shù)疲勞檢測提取面部的局部特征來分析，但疲勞的一些表現(xiàn)如面無表情等很難用局部的特征進行刻畫。論文提出了一種基于臉部全局特

4、征AdaBoosted PCA判定駕駛員疲勞的方法。實驗結(jié)果表明，論文提出的幾種算法以較小的計算代價獲得了較高的識別性能。 (2)在基于面部圖像的疲勞分析中，針對單個視覺線索存在的不確定性，提出了兩種融合多個面部疲勞視覺線索的方法。 Bayesian Networks(BNs)是處理不確定信息的一個有效工具，論文在決策層采用基于BNs的概率模型融合嘴部和眼部的視覺線索來判定駕駛員是否疲勞。由于BNs融合的多個視覺線索，要

5、求這些視覺線索是條件獨立的，在有些條件下不滿足這樣的條件，或者比較難于判定多個視覺線索是否條件獨立，因此論文進一步考慮利用Linear Discriminant Analysis(LDA)融合眼部、嘴部和臉部的視覺線索來判別疲勞。試驗結(jié)果顯示BNs和LDA融合的方法較單個的視覺線索都獲得了更加魯棒、可靠和準(zhǔn)確的疲勞指標(biāo)。 (3)在基于視頻圖像序列的疲勞分析中。為了表現(xiàn)疲勞的動態(tài)特性，提出了兩種面部動態(tài)疲勞特征。 疲勞表現(xiàn)

6、出的動態(tài)信息是疲勞最本質(zhì)、最重要的信息。為了表現(xiàn)駕駛員疲勞的動態(tài)特性，論文從面部圖像序列中提取了兩種動態(tài)疲勞特征進行分析。考慮到單個面部圖像具有較高的維數(shù)，圖像序列的維數(shù)會增加更多。因此要提取圖像序列的特征，首先要得到單個圖像的低維表示。論文采用PrincipalComponent Analysis(PCA)方法獲得圖像序列中每個圖像的低維表示，在面部圖像序列的低維表示的基礎(chǔ)上通過組合、編碼等操作獲得面部疲勞的動態(tài)特征。試驗結(jié)果顯示論文

7、提出的動態(tài)特征較對比的靜態(tài)特征取得了更好的識別效果。 (4)在基于面部視頻圖像序列的疲勞分析中，為了表示疲勞的多尺度特性，提出了兩類面部多尺度動態(tài)疲勞特征：多尺度的動態(tài)LBP特征、多尺度的動態(tài)Gabor特征。 疲勞時不同的面部表現(xiàn)具有不同的尺度，疲勞分析的現(xiàn)有研究中還沒有關(guān)注疲勞的多尺度特性。為了表現(xiàn)駕駛員面部疲勞動態(tài)和多尺度的特性，論文提出了一種疲勞的面部多尺度動態(tài)LBP特征。這種特征對原始的LBP進行了兩個方面的擴展

8、：利用Gabor小波處理，對LBP進行多尺度上的擴展：通過構(gòu)建動態(tài)單元對LBP進行動態(tài)上的擴展。進一步，論文基于Gabor小波和特征融合從面部圖像序列中提取了兩種面部多尺度動態(tài)Gabor特征用于檢測疲勞。這兩種特征在提取的過程中不僅考慮了疲勞的動態(tài)、多尺度的特性，而且在對特征處理的過程中考慮了原始的疲勞特征在方向上的關(guān)系特性。對面部視頻圖像序列中的疲勞，兩類面部多尺度動態(tài)特征均取得了令人滿意的識別性能。 進一步的研究需要在面部動