降維算法和手寫文字識別中若干問題研究.pdf

1、本文對模式識別中降維算法和手寫文字識別兩個(gè)核心問題進(jìn)行了研究。在降維算法方面，對常用的線性判別分析（Linear Discriminant Analysis，LDA）算法進(jìn)行了深入的研究。首先討論了LDA與分類誤差之間的關(guān)系；然后對LDA在處理多類問題，當(dāng)最終的維度l小于類別數(shù)C-1時(shí)，出現(xiàn)的非最優(yōu)問題，提出了一種基于子集劃分的方法以提升LDA的性能；最后對LDA各個(gè)投影方向間的約束問題，提出了一種基于類別對之間可分性狀態(tài)的約束條件。在

2、手寫文字識別方面，本文對MQDF分類器中替代參數(shù)h提出了一種新的估計(jì)算法；對手寫漢字識別中相似字的判別問題，本文提出了一種基于分類器級聯(lián)的策略以更全面地利用原始特征中的判別信息。本文取得了以下主要研究成果：
　　1.討論了LDA與Bayes分類誤差之間的關(guān)系。在高斯分布假設(shè)下，對于兩類情況，本文推導(dǎo)出LDA和Bayes誤差在等方差情況下的函數(shù)關(guān)系，并且給出了在∑1=ρ∑2這種特殊異方差情況下兩者的函數(shù)關(guān)系。對于多類等方差情況，分別

3、推導(dǎo)了 LDA、Bayes與投影方向的函數(shù)關(guān)系，比較得到的函數(shù)關(guān)系可以從理論上解釋多類LDA在子空間維度l小于類別數(shù)C-1時(shí)出現(xiàn)的非最優(yōu)問題。
　　2.對于多類LDA在尋找到的子空間維度l小于類別數(shù)C-1時(shí)出現(xiàn)的非最優(yōu)問題，提出了一種基于子集劃分的LDA改進(jìn)方法。與已有的方法不同，本文利用類別數(shù)C越小LDA得到解的魯棒性越強(qiáng)這一現(xiàn)象，提出基于子集劃分的方法提高LDA的性能。在訓(xùn)練過程中，提出的方法首先將多類問題劃分為一系列子集，并

4、對子集求解子空間；在分類過程中，提出的方法將待分類樣本 x映射到其所屬的子集中，然后在該子集中進(jìn)一步確定該樣本所屬的類別。為了得到全部類別的最優(yōu)子集劃分，本文首先產(chǎn)生在指定分類器下各個(gè)類別間的關(guān)系，然后利用圖分割方法求解出最優(yōu)的子集。因?yàn)樘岢龅姆椒ú]有涉及具體子空間的目標(biāo)函數(shù)，所以該方法可以用來改進(jìn)其他線性降維方法。實(shí)驗(yàn)結(jié)果表明該算法可有效的提高LDA及其它線性降維方法的性能，特別是在最終維度較低的時(shí)候。
　　3.對于LDA判別

5、向量間的約束問題，提出一種基于可分性狀態(tài)的Fisher判別向量約束關(guān)系。本文研究了特征向量與其元素在可分性方面的關(guān)系，得到兩類滿足等先驗(yàn)同方差高斯分布的特征向量，若向量中任意一個(gè)元素可分則該特征向量必然可分。在上述結(jié)論的基礎(chǔ)上，本文在尋找到每一個(gè)投影方向之后檢查各對類別投影后得到元素的可分性，并依據(jù)可分性狀態(tài)更新類間離散矩陣。為了使投影方向滿足統(tǒng)計(jì)不相關(guān)的特性，本文將特征向量映射到投影向量的 St正交空間中，并迭代地尋找到所需要的子空間

6、。對于更一般的異方差情況，本文采用了核方法將提出的方法擴(kuò)展到非線性情況。實(shí)驗(yàn)表明提出的算法可有效的提升LDA的性能。
　　4.針對用于手寫文字識別問題的修正二次判別函數(shù)（Modified Quadratic Discriminant Function，MQDF）分類器中替代參數(shù)h的估計(jì)問題，提出了一種新的方法。首先通過分析參數(shù)h在MQDF中的作用，將h對判別結(jié)果的影響分為兩類情況，然后對每類情況在訓(xùn)練集上統(tǒng)計(jì) h的取值分布，并分析

7、如何選擇 h可獲得最優(yōu)的分類結(jié)果，最后用非參數(shù)方法得到這兩種情況的概率分布，從而得到 h的最佳取值。在手寫數(shù)字?jǐn)?shù)據(jù)庫MNIST和手寫漢字?jǐn)?shù)據(jù)庫ETL9B上的實(shí)驗(yàn)結(jié)果表明了提出方法的有效性。
　　5.針對手寫相似漢字識別問題，提出一種新的基于分類器的方法以更全面地利用原始特征中的判別信息。與現(xiàn)有的為相似漢字提取額外特征的方法不同，本文在得到特征向量之后，首先利用MQDF進(jìn)行分類，然后用支持向量機(jī)（Support Vector Mac