約束局部模型——clm搜索擬合算法-浙江大學

1、基于信息度量學習約束局部模型的人臉定位研究,指導老師：張宏鑫 副教授作 者：程允勝答辯日期：2012年x月x日,報告大綱,緒論——研究目標,準確自動定位出靜態(tài)圖像以及視頻中可變形結構 的外形結構（特征點定位）；本文主要討論人臉特征點定位,緒論---研究意義,人臉識別（特別是單圖人臉識別） 圖像修復圖像可變形目標替換（PS）三維構建,約束局部模型（constrained local models）,約束

2、局部模型通過利用局部模型在特征點附近搜索確定每個特征點位置，并結合形狀擬合自動準確對圖像進行校正。 CLM類似于snakes模型，不同的是目標形狀是受約束的形狀。CLM主要組成：形狀模型（模型受約束的形狀）、局部外觀模型、擬合優(yōu)化策略,約束局部模型—形狀模型,物體的形狀由特征點以及特征點之間的連通性表示。,特征點選擇：1、準確描述物體結構 2、特征點位置明確可靠,約束局部模型—形狀模型PC

3、A分析,物體的形狀 可以用2n維向量x表示。PCA分析以后，形狀表示為其中 平均形狀，P特征向量矩陣，b模型參數。PCA分析作用： 1、降維 2、去噪聲信息 3、約束形狀,,,,約束局部模型—形狀模型PCA分析,一般的，當 在范圍

4、 之內，可以約束模擬出來的形狀是有效的形狀 ， 特征值,,,,,形狀模型的主要模型,約束局部模型——局部外觀模型,局部模型主要有兩部分組成：局部外觀信息提取 、局部分類器 。外觀提取就是準確全面而且概括性的定義每個特征點周圍的特征 。局部分類器就是代價函數，評價當前特征點信息與模板信息的匹配度。,約束局部模型——局部外觀信息提取,CLM局部模型局部特征信息提取算法比較常用的有一維patch二維patch 。,約束局部模

5、型——局部分類器,一個簡單分類器 ，曼哈頓距離響應值越大匹配度越小。,,約束局部模型——擬合優(yōu)化,通過局部模型，我們獲得當前形狀每個特征點周圍的匹配概率 有了每個特征點的響應曲面以后，便可以進行擬合獲得形狀參數,,,,約束局部模型——CLM搜索擬合算法,CLM搜索擬合算法輸入初始的特征點位置信息。重復：1、對每一特征點，利用局部檢測器對特征點周圍進行搜索，算出相應的響應值，獲得每個特征點周圍的響應曲面。2、根據形

6、狀模型擬合當前的形狀，更新相應的模型參數以及下一步迭代的特征點位置。直到收斂收斂的定義是每兩次迭代之間，模型的形狀參數或者特征點位置變化小于一定的閾值。,信息度量學習CLM模型——CLM的發(fā)展,局部模型：特征提取，主要包括local pattern patch，gabor濾波器等。 局部分類器,有SVM, adaboost，PCA，KPCA等。擬合優(yōu)化：ASM，COF。,CLM發(fā)展——PCA局部模型,給定某個特征點

7、局部外觀特征 ，相應的PCA分析表示為：代價函數為,,,,CLM的發(fā)展——ＡＳＭ，ＣＯＦ,ＡＳＭ可以表示為最小二乘問題等價于ＣＯＦ凸二次函數擬合響應曲面,,,,,,ＣＬＭ的發(fā)展——ＣＬＭ的缺陷,ＣＬＭ模型有兩大缺陷：多極小值模型以及極小值不在期望位置。原因：局部特征信息結構有限；局部分類器只考慮正確點上的信息沒有考慮附近的信息。,信息度量學習CLM——代價函數一般式,一般的，局部模型的響應函數（代價函數）

8、都可以表示為：其中 表示位于圖像I坐標 的響應值， 表示位于圖像坐標處的外觀特征信息（如二維patch）。A是目標矩陣，在這里稱為映射矩陣。,,,,,信息度量學習CLM——代價函數一般式,在基于協(xié)方差局部模型中，在基于PCA模型的局部模型中,,,,信息度量學習CLM——代價函數優(yōu)化目標函數,優(yōu)化目標函數標準：1、響應曲面應該具備全局極小值點是唯一的極小值點，而且該極小值點位于特征

9、點期望的位置上。2、每個特征點的優(yōu)化目標函數準確地模型、約束特征點外觀信息分布。3、優(yōu)化目標函數應該兼顧不同樣本之間的差異性,信息度量學習CLM——代價函數優(yōu)化目標函數,基于PCA局部模型統(tǒng)計響應曲面優(yōu)化目標函數 表示PCA局部模型的平均響應曲面 CLM代價函數優(yōu)化目標是希望每一樣本的響應曲面與平均響應曲面一樣。 其中 表示位置處 的代價函數響應值與平均響應曲面的值之間允許的

10、誤差。在本文， 表示處PCA局部模型該處響應曲面的標準差,,,,,,,信息度量學習CLM——代價函數優(yōu)化目標函數,人臉部分特征點的平均響應曲面,信息度量學習CLM——信息度量學習,給定相似元素集合S以及不相似的元素集合D，信息度量學習問題可以表示為： 是

11、Bregman矩陣散度，主要衡量兩個矩陣的相似性， 表示A屬于正定矩陣。信息度量學習優(yōu)點：在已有的映射矩陣做監(jiān)督學習，保持了已有的映射矩陣的優(yōu)點加上任意空間上的距離約束。,,,信息度量學習CLM——代價函數的信息度量學習優(yōu)化,CLM模型的距離定義,,信息度量學習CLM——代價函數的信息度量學習優(yōu)化,CLM模型歸約為信息度量學習問題信息度量學習優(yōu)化在PCA代價函數基礎上進行監(jiān)督學習，保持了PCA代價函數的優(yōu)點，克服了PC

12、A局部模型在處理局極小值點上的不足,信息度量學習CLM,信息度量學習CLM——方法比較,實驗結果——實驗方法,圖庫：數據庫colorferet 正臉圖像，300張做訓練樣本，400張做測試樣本。評價標準：平均誤差 以及歸一化平均誤差 歸一化平均誤差首先將所有圖歸一化到同一分辨率。,,實驗結果——結果比較,,0-26號特征點這些特征點主要是輪廓以及眉毛處的特征點，這些特征點由于受到背景頭發(fā)等因素的干擾，特征點附近的外觀特

13、征樣本之間差異極大十分難處理。我們的方法在處理局部外觀變化大的情況下遠遠優(yōu)于PCA局部模型方法。,實驗結果——結果比較,不管是平均誤差還是歸一化平均誤差，ITML局部模型的結果都比基于PCA局部模型好很多。數據表明，我們的實現方法比基于PCA局部模型實現方法在特征點定位上精確很多。,實驗結果,總結,提出代價函數一般式利用PCA局部模型響應曲面提出優(yōu)化目標函數提出用信息度量學習算法進行優(yōu)化優(yōu)化過程考慮周圍信息克服局部極小值點,