基于信息理論的數(shù)字模式識(shí)別及應(yīng)用研究.pdf

1、本文在國(guó)家自然科學(xué)基金資助項(xiàng)目"信息模式識(shí)別理論及其在地學(xué)中的應(yīng)用"(項(xiàng)目編號(hào):40074001)的支持下,以信息理論為切入點(diǎn),集統(tǒng)計(jì)理論、系統(tǒng)理論、模糊數(shù)學(xué)理論、模式識(shí)別理論于一身,對(duì)數(shù)字模式識(shí)別(DPR)理論進(jìn)行了系統(tǒng)地研究.首先在現(xiàn)有模式測(cè)度理論基礎(chǔ)上,系統(tǒng)地研究了信息模式測(cè)度(IPM)理論.基于信息理論,提出了對(duì)稱交互熵(SCE)、關(guān)聯(lián)信息系數(shù)(IIC)、離散量(DC)等基本概念,以此為基礎(chǔ),建立了交互距離測(cè)度(CDM)、關(guān)聯(lián)信

2、息測(cè)度(IIM)、信息距離測(cè)度(IDM)以及信息系數(shù)測(cè)度(ICM)等理論.所有這些理論與方法,拓寬了信息模式相似性測(cè)度的研究領(lǐng)域,是DPR研究的重要組成部分;其次系統(tǒng)地討論了基于離差陣判據(jù)、基于概率距離判據(jù)、基于散度判據(jù)及基于信息熵判據(jù)的信息特征壓縮方法,對(duì)其算法分別進(jìn)行了研究;根據(jù)信息熵的思想,提出了第二表示熵或廣義熵以及幾何熵,并論證了DKLT比其它任何正交變換下的廣義熵、幾何熵為最小,從而x的DKLT使得信息量向變換后的某些分量相

3、對(duì)集中,為信息特征優(yōu)化壓縮奠定了理論基礎(chǔ);在研究主成份分析(PCA)算法的基礎(chǔ)上,借助于Shannon信息理論中信息函數(shù)的概念,我們首次定義了本征值的可能性信息函數(shù),進(jìn)而提出了信息率(IR)和累計(jì)信息率(AIR)的概念,用它度量了信息壓縮的程度,建立了一種新的基于信息理論的PCA特征壓縮算法;在交互熵的基礎(chǔ)上,提出了對(duì)稱交互熵(SCEC)的概念,建立基于SCEC的信息特征壓縮算法;首次將偏最小二乘(PLS)回歸引入到信息特征壓縮領(lǐng)域,提

4、出了基于PLS的信息特征壓縮算法,PLS回歸是一種測(cè)量數(shù)據(jù)的軟建模、穩(wěn)健(Robust)的統(tǒng)計(jì)分析方法.較主成份分析(PCA)具有簡(jiǎn)單、穩(wěn)健、易于定性解釋等優(yōu)點(diǎn),對(duì)于多重共線性資料,尤其當(dāng)解釋變量多,而樣本量少時(shí)很有效.同時(shí)由于在壓縮數(shù)據(jù)矩陣X的信息的同時(shí),顧及了與目標(biāo)矩陣Y的最大相關(guān)性等優(yōu)點(diǎn),使之更符合于實(shí)際;最后基于信息模式測(cè)度(IPM)、信息特征壓縮(IFC)理論的研究,建立了基于信息系數(shù)測(cè)度(ICM)、基于改進(jìn)信息相似系數(shù)(II

5、CM)的信息聚類算法,并將其應(yīng)用于土壤質(zhì)量評(píng)價(jià)分類中;應(yīng)用信息熵理論,提出了客觀熵權(quán)(OEW)的概念,并給出了OEW的構(gòu)造方法,建立了基于OEW的數(shù)字模式識(shí)別算法,模擬結(jié)果表明,這里提出的算法是有效的、合理的;在對(duì)偏最小二乘(PLS)回歸算法分析的基礎(chǔ)上,把反應(yīng)變量看作0-1變量,進(jìn)而提出了一種新的基于PLS的數(shù)字模式識(shí)別算法,該算法較Fisher判別分析、Bayes判別分析具有較高的識(shí)別性能,且具有簡(jiǎn)單、穩(wěn)健、易于定性解釋等優(yōu)點(diǎn);以模