混合數(shù)據(jù)的核密度估計熵與快速的貪心特征選擇算法.pdf

1、在海量數(shù)據(jù)的時代，特征選擇作為數(shù)據(jù)挖掘、模式識別、機(jī)器學(xué)習(xí)的關(guān)鍵步驟，在降低維度、提升算法速度與精確度等方面發(fā)揮著越來越重要的作用。信息論中熵和互信息等概念在特征選擇算法中占據(jù)重要的地位，具有無需先驗知識檢測非線性關(guān)系、抗噪聲干擾等優(yōu)點。但傳統(tǒng)基于信息論的特征選擇方法主要針對離散特征，而現(xiàn)實世界存在著大量連續(xù)特征、混合特征的數(shù)據(jù)。離散化是一種常見的解決方法，即將連續(xù)特征轉(zhuǎn)換為離散特征，再間接地計算信息論中的概率值，這種方法可能導(dǎo)致原始信

2、息的損失。核密度估計（簡寫KDE）在統(tǒng)計學(xué)理論中用于對隨機(jī)變量的概率密度函數(shù)進(jìn)行無參估計，部分研究者由此提出了基于KDE的條件熵，并應(yīng)用于特征選擇算法，實驗結(jié)果證明這類方法具有較好的效果。但現(xiàn)有研究中，KDE熵公式較少且局限于連續(xù)特征，KDE熵計算用時較長、效率較低，且在高維下更加嚴(yán)重。這些問題導(dǎo)致基于KDE熵的特征選擇算法的種類較少、速度非常慢，難以被廣泛應(yīng)用。
　　本研究主要內(nèi)容包括：⑴提出較完整的連續(xù)特征KDE熵，提出混合特