基于最小聯(lián)合互信息虧損的最優(yōu)特征選擇算法研究.pdf

1、隨著社會經(jīng)濟與計算機技術(shù)的快速發(fā)展，研究一種能夠有效地提高分類學(xué)習(xí)算法性能和效率的Filter型特征選擇算法有著重要的理論價值與廣泛的應(yīng)用前景。
　　 提出了一種基于最小聯(lián)合互信息虧損的最優(yōu)特征選擇算法。該算法將以聯(lián)合互信息作為評價準(zhǔn)則的特征選擇問題分解為兩個子問題，采用最大條件互信息原則進行搜索直到獲得一個無差異特征子集，并采用一種最小聯(lián)合互信息虧損原則對所得無差異特征子集進行冗余特征的判斷與刪減。從條件互信息估計可靠性的角度

2、上來看，最小聯(lián)合互信息虧損原則減小了因樣本不足而引起的條件互信息估計的偏差。從而能夠獲得一個較好地表達原始數(shù)據(jù)集且規(guī)模較小的特征子集。
　　 為解決特征子集規(guī)模較大時條件互信息估計所面臨的維數(shù)瓶頸問題，提出了一種快速條件互信息估計方法，并將其用于所提算法的實現(xiàn)。首先引入局部互信息的概念，并揭示了局部互信息與條件互信息之間的關(guān)系，進而通過對局部互信息的逐一求解來實現(xiàn)對條件互信息的估計。
　　 選擇了10種常用的基準(zhǔn)數(shù)據(jù)集與