間隔分布正則化機(jī)器學(xué)習(xí)理論及其應(yīng)用研究.pdf

1、正則化方法通過(guò)引入人類的先驗(yàn)信息，能有效地增強(qiáng)分類器的泛化性能，避免過(guò)擬合現(xiàn)象的發(fā)生。支持向量機(jī)（SVM）利用大的最小間隔來(lái)正則化模型，提高了模型的泛化能力，具有重要的理論和應(yīng)用價(jià)值。最近的理論研究結(jié)果表明，相對(duì)于最小間隔或者單個(gè)間隔，間隔分布能更好地刻畫泛化性能。在此理論基礎(chǔ)上，基于間隔分布正則化的大間隔分布機(jī)（LDM）通過(guò)最大化間隔分布增強(qiáng)了模型的泛化性能，并取得了優(yōu)于SVM等先進(jìn)方法的分類性能。因此，間隔分布學(xué)習(xí)成為了一個(gè)新的研究

2、熱點(diǎn)，本文對(duì)此展開了相關(guān)的理論和應(yīng)用研究，設(shè)計(jì)了具有強(qiáng)泛化性能和魯棒性的分類算法，并探索將其應(yīng)用到行人檢測(cè)和場(chǎng)景分類中，主要包括在以下幾個(gè)方面：
　?。?）針對(duì)樣本不平衡條件下的分類問(wèn)題，提出了一種包含代價(jià)敏感性間隔分布和錯(cuò)分懲罰的大代價(jià)敏感性間隔分布機(jī)。在分析大間隔分布機(jī)中的間隔均值和間隔方差的基礎(chǔ)上，定義了代價(jià)敏感性間隔均值和間隔方差，建立了代價(jià)敏感性的間隔分布正則化模型。深入研究了模型中代價(jià)敏感參數(shù)的特性，通過(guò)理論推導(dǎo)得出了

3、代價(jià)敏感參數(shù)的約束條件。在此基礎(chǔ)上設(shè)計(jì)了代價(jià)敏感參數(shù)符合約束條件的大代價(jià)敏感性間隔分布機(jī)，通過(guò)調(diào)整代價(jià)敏感參數(shù)，實(shí)現(xiàn)了對(duì)間隔分布的調(diào)整，進(jìn)而實(shí)現(xiàn)了分類面的動(dòng)態(tài)調(diào)整和少數(shù)類樣本檢測(cè)率的提升。大代價(jià)敏感性間隔分布機(jī)是基于間隔分布正則化設(shè)計(jì)的，而間隔分布對(duì)泛化性能具有決定性作用，所以大代價(jià)敏感性間隔分布機(jī)既能調(diào)節(jié)檢測(cè)率又具有很強(qiáng)的泛化性能。
　　（2）為提高間隔分布學(xué)習(xí)對(duì)間隔數(shù)量和噪聲的魯棒性，提出了一種新的基于間隔分布正則化的通用分類

4、算法—二重間隔分布機(jī)。在有效特征的分類問(wèn)題中，樣本統(tǒng)計(jì)特征通常具有很重要的標(biāo)示作用。通過(guò)研究樣本統(tǒng)計(jì)特征和間隔分布之間的關(guān)聯(lián)性，本文用兩類樣本均值間隔的均值和均方差來(lái)刻畫樣本的間隔分布，既實(shí)現(xiàn)了類間間隔數(shù)量的平衡，又使模型的幾何意義更加直觀。在此基礎(chǔ)上，我們?cè)O(shè)計(jì)了二重間隔分布機(jī)通過(guò)最大化兩類樣本均值的間隔分布來(lái)提高模型的泛化能力。二重間隔分布機(jī)引入的樣本均值不僅使兩類間隔的數(shù)量均衡還可以有效地抑制噪聲等不良影響，具有很好的泛化性能和魯棒

5、性。
　?。?）針對(duì)間隔代價(jià)的不均衡問(wèn)題，提出了幾何意義明確的代價(jià)敏感性二重間隔分布機(jī)。在分析二重間隔分布機(jī)的基本結(jié)構(gòu)和幾何意義的基礎(chǔ)上，本文定義了代價(jià)敏感性二重間隔分布，并建立了基于代價(jià)敏感性二重間隔分布正則化的優(yōu)化模型。該模型可以利用其中的代價(jià)參數(shù)調(diào)整間隔分布，進(jìn)而調(diào)整分類面和不同代價(jià)樣本的檢測(cè)率。本文對(duì)代價(jià)參數(shù)的數(shù)學(xué)意義進(jìn)行了深入的研究，推導(dǎo)了代價(jià)參數(shù)對(duì)對(duì)偶變量和分類面調(diào)整的機(jī)制，并得出了代價(jià)參數(shù)應(yīng)滿足的約束條件。在此基礎(chǔ)上

6、，設(shè)計(jì)了符合代價(jià)參數(shù)約束條件的代價(jià)敏感性二重間隔分布機(jī)，用于解決代價(jià)不平衡的二分類問(wèn)題。
　?。?）為實(shí)現(xiàn)快速和代價(jià)敏感性的行人檢測(cè)，設(shè)計(jì)了基于BING框架和代價(jià)敏感性二重間隔分布機(jī)的行人檢測(cè)模型。通過(guò)行人與非行人圖像的HOG特征訓(xùn)練本文提出的二重間隔分布機(jī)。為減小二重間隔分布機(jī)的搜索區(qū)域，本文首先根據(jù)BING框架進(jìn)行快速目標(biāo)篩選，在此基礎(chǔ)上提出了啟發(fā)式的目標(biāo)區(qū)域定位算法，通過(guò)目標(biāo)選擇和區(qū)域定位策略來(lái)獲得行人的區(qū)域定位。只需將二重

7、間隔分布機(jī)對(duì)定位區(qū)域進(jìn)行目標(biāo)檢測(cè)即可獲得行人檢測(cè)的結(jié)果，提高了行人檢測(cè)的效率和速度。除此以外，還可以根據(jù)檢測(cè)率的需要使用代價(jià)敏感性二重間隔分布機(jī)來(lái)進(jìn)行行人檢測(cè)，獲得代價(jià)敏感性的的行人檢測(cè)結(jié)果。
　　（5）針對(duì)場(chǎng)景識(shí)別中的多類目標(biāo)分類問(wèn)題，推廣了二分類二重間隔分布機(jī)來(lái)解決多類場(chǎng)景分類問(wèn)題。以場(chǎng)景識(shí)別為應(yīng)用背景，本文采用鄰域編碼和推廣二重間隔分布機(jī)的方法來(lái)解決識(shí)別中的多類場(chǎng)景分類問(wèn)題。通過(guò)鄰域編碼對(duì)圖像進(jìn)行特征表達(dá)，這種表達(dá)方法具有很