單目攝像機(jī)實(shí)現(xiàn)的注視方向估計(jì)研究.pdf

1、注視方向估計(jì)是計(jì)算機(jī)視覺和模式識(shí)別研究的熱點(diǎn)問題之一，具有重要的理論意義和應(yīng)用價(jià)值。對(duì)注視方向估計(jì)技術(shù)的系統(tǒng)研究能夠推動(dòng)這些領(lǐng)域的發(fā)展，在人機(jī)交互、心理學(xué)研究等領(lǐng)域具有重要的應(yīng)用前景。近年來，雖然侵入式的注視方向估計(jì)取得了很大進(jìn)展，但非侵入式的注視方向估計(jì)尚不成熟。要實(shí)現(xiàn)真正魯棒、實(shí)用的非侵入式的自動(dòng)視線估計(jì)和跟蹤系統(tǒng)還需要解決大量的關(guān)鍵問題，尤其需要研究高效的人眼描述特征，以及實(shí)現(xiàn)頭部自由動(dòng)作的視線方向估計(jì)算法。
　　本文研究了

2、以單攝像機(jī)作為信息獲取手段的非侵入式注視方向估計(jì)的相關(guān)問題，包括基于單攝像機(jī)的數(shù)據(jù)獲取與基準(zhǔn)數(shù)據(jù)(ground truth)的自動(dòng)標(biāo)注、眼部表觀特征的表示、頭部自由運(yùn)動(dòng)的注視方向估計(jì)等問題。概括而言，本文的主要研究工作包括：
　　1．設(shè)計(jì)了一種同步采集注視方向、頭部姿態(tài)數(shù)據(jù)和面部圖像的方法，并實(shí)現(xiàn)了相應(yīng)的裝置。在基于統(tǒng)計(jì)學(xué)習(xí)的算法中，系統(tǒng)的性能依賴于大量標(biāo)注的訓(xùn)練數(shù)據(jù)。因此，標(biāo)注的數(shù)據(jù)集是注視方向估計(jì)研究的基礎(chǔ)和前提。本文設(shè)計(jì)的這

3、種數(shù)據(jù)采集方法，能夠在復(fù)雜環(huán)境下，同步采集圖像、姿態(tài)、注視方向以及各個(gè)目標(biāo)間的空間位置關(guān)系。其采集的數(shù)據(jù)為后續(xù)實(shí)驗(yàn)的訓(xùn)練和測(cè)試提供了保障。
　　2．提出一種基于方向二值模式特征的注視方向估計(jì)方法。隨著注視方向的改變，在眼窩中鞏膜和虹膜位置之間的相對(duì)位置也隨著改變。這些改變可以看作是虹膜橫向和縱向運(yùn)動(dòng)，這種運(yùn)動(dòng)會(huì)引起眼部圖像紋理的相應(yīng)變化。針對(duì)虹膜縱向和橫向的移動(dòng)變化特點(diǎn)，提出方向二值模式(Directional Binary Pa

4、ttern,DBP)的表示方法。通過計(jì)算四個(gè)方向上差分信息，使 DBP特征不僅包含局部紋理信息，同時(shí)還包含特定方向的二值差分信息。因此，DBP特征適合解析虹膜相對(duì)運(yùn)動(dòng)而引起眼部圖像的紋理變化。同時(shí) DBP特征對(duì)光照變化具有魯棒性，能減少因光照影響而引起的計(jì)算誤差。
　　3．提出了一種基于混合特征的注視方向估計(jì)方法?；旌咸卣饔赡Ｐ吞卣骱捅碛^特征組成。模型特征提取特征點(diǎn)間的幾何向量；表觀特征是從眼睛圖像提取基于Gabor特征的方向二值

5、模式(Gabor Directional Binary Pattern,GDBP)。本文將兩種特征通過支持向量回歸(Support Vector Regression,SVR)算法融合起來,從而獲得某一確定的頭部姿態(tài)下的注視方向。將方向二值模式(DBP)用于編碼圖像的Gabor幅值特征，從而表示表觀特征，并取得了較好的性能。基于混合特征的方法具有如下特點(diǎn)：(1)根據(jù)不同的計(jì)算方向?qū)ρ鄄繄D像進(jìn)行二值化；(2)成功地將DBP算子和Gabor

6、幅值特征進(jìn)行結(jié)合，最后提取空間直方圖特征作為判別特征；(3)既利用了表觀特征較好的統(tǒng)計(jì)特性，也得益于模型特征在對(duì)光照變化的魯棒性。
　　4．提出一種頭部自由動(dòng)作的注視方向估計(jì)方法。對(duì)基于圖像特征的注視方向估計(jì)研究而言，包含兩個(gè)重要的問題：頭部姿態(tài)和眼睛注視方向。目前，頭部自由動(dòng)作的注視方向估計(jì)方法多數(shù)通過先確定頭部姿態(tài)，后估計(jì)注視方向的方法實(shí)現(xiàn)。本文提出一個(gè)分布式算法實(shí)現(xiàn)頭部可動(dòng)作的注視方向估計(jì)，分別估計(jì)頭的姿態(tài)和眼睛的注視方向。