基于特征分類(lèi)能力互補(bǔ)性和歸一化互信息的特征選擇方法.pdf

1、特征選擇是數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)的一個(gè)基本問(wèn)題。過(guò)去十幾年來(lái)，許多度量手段被用來(lái)度量特征的重要性，眾多研究成果相繼誕生。其中，互信息作為一種非線性、無(wú)量綱的度量標(biāo)準(zhǔn)被廣泛應(yīng)用到特征選擇技術(shù)中。
　　總體來(lái)說(shuō)，基于互信息的特征選擇方法的三個(gè)核心問(wèn)題是:(1)特征與類(lèi)別的依賴(lài)關(guān)系;(2)特征與特征的相關(guān)性;(3)前面二者的權(quán)重比例。目前，許多學(xué)者通過(guò)設(shè)置不同的參數(shù)提出了一系列方法。
　　針對(duì)以上三個(gè)核心問(wèn)題，本文首先將多類(lèi)問(wèn)題轉(zhuǎn)化為

2、多個(gè)兩類(lèi)問(wèn)題，對(duì)于每個(gè)兩類(lèi)問(wèn)題，采用歸一化的互信息定義特征分類(lèi)能力，以此為基礎(chǔ)給出特征分類(lèi)能力互補(bǔ)性的概念，改進(jìn)傳統(tǒng)基于互信息的特征選擇方法的準(zhǔn)則函數(shù)，提出基于特征分類(lèi)能力互補(bǔ)性的特征選擇方法。實(shí)驗(yàn)表明，基于該方法所選取特征構(gòu)造的三種分類(lèi)器的分類(lèi)準(zhǔn)確率，在大多數(shù)情況下占優(yōu)。
　　其次，本文針對(duì)微陣列數(shù)據(jù)小樣本的特點(diǎn)，提出一種基于混淆矩陣的自適應(yīng)的互信息估算方法，它避免了多層迭代地劃分樣本平面，僅由樣本的重疊情況估算概率，從而計(jì)算互

3、信息。實(shí)驗(yàn)結(jié)果表明，該方法具有較低計(jì)算復(fù)雜度，為基于互信息的特征選擇方法提高了計(jì)算效率。
　　最后，結(jié)合新的互信息估算方法，本文提出基于特征分類(lèi)能力互補(bǔ)性的特征子集選擇方法。它將特征分類(lèi)能力定義為條件互信息，得到特征分類(lèi)能力矩陣，以此表征特征與類(lèi)別的依賴(lài)關(guān)系?？紤]特征間的相關(guān)性，用聯(lián)合熵表示特征間的互補(bǔ)性，用歸一化的互信息表示特征冗余性，并用二者之差作為進(jìn)一步候選特征的標(biāo)準(zhǔn)。新方法將特征選擇過(guò)程分為兩個(gè)步驟進(jìn)行，避免了特征相關(guān)性與