特征選擇算法及其在基于內容圖像檢索中的應用研究.pdf

1、隨著計算機應用范圍和領域的日益擴大，特別是Internet的飛速發(fā)展，在各種應用系統(tǒng)和Internet上積累了大量、甚至海量數據，產生了“數據爆炸、知識貧乏”的現象；數據挖掘是解決這種問題的最為有效的手段，但是要有效地利用數據挖掘，對數據進行預處理是必不可少的，而特征選擇是數據預處理中一種重要而且經常采用的方法。此外，在機器學習和模式識別中，特征選擇也是一個必要的步驟。 特征選擇的研究開始于上個世紀的六十年代，已經有幾十年的歷史

2、，取得了許多成果，但隨著新的應用領域和新對象不斷涌現，使得特征選擇還有許多問題亟待解決。本論文對此作了詳細介紹，并對目前特征選擇的研究熱點和問題進行了深入的研究，取得了一定的成果。 作者把特征選擇的研究分為三個階段，首先介紹了常規(guī)的特征選擇算法模型，并分別從研究人員和用戶角度，對特征選擇算法進行分類，這將大大方便用戶選擇合適的特征選擇算法，有助于特征選擇算法的應用，也為特征選擇算法的進一步研究打下堅實的基礎。 其次，提出

3、或者介紹了一些具體的特征選擇算法，也是當前的一些研究重點和熱點，包括在模糊特征空間進行特征選擇的算法、監(jiān)督的高維特征選擇算法、非監(jiān)督的高維特征選擇算法和小樣本訓練的特征選擇算法。其中，對于模糊特征空間的特征選擇，主要是利用擴張矩陣作為搜索策略，類間的模糊相似性作為評價準則，理論和實驗都表明該算法具有較好的性能和低的時間開銷。該算法屬于一種專業(yè)算法，充分考慮特征的模糊性，可以應用到模糊分類器的設計中。而在監(jiān)督的高維特征選擇中，由于現實的高

4、維數據集中往往存在大量的冗余特征和不相關特征，因此作者提出了一種基于特征關聯(lián)性的分層過濾器方法，有效地消除冗余特征和不相關特征，實驗表明該算法能有效地降低特征維數。同時將該方法與部分基于關聯(lián)性的方法進行了比較分析，并全面系統(tǒng)地回顧了所有基于特征關聯(lián)性的高維特征選擇算法以及關聯(lián)性的定義和計算公式，大大有助于以后的研究。在非監(jiān)督特征選擇的研究中，作者提出一種新的基于特征排序和分層的過濾器算法，排序規(guī)則采用的是指數熵，而評價準則采用了模糊特征

5、評價指標，該算法克服了其它一些非監(jiān)督特征選擇算法的缺點，可以同時剔除冗余特征和不相關特征，能有效處理高維數據和噪聲數據，且計算的開銷較小。前面提出的三種算法都是建立在訓練樣本較充分的基礎之上，但當可獲取的訓練樣本相對于特征維數偏少時，如何有效地進行特征選擇？作者詳細介紹了一類基于支持向量機的特征選擇算法，該類算法是建立在統(tǒng)計學習理論的基礎上，尋求結構風險最小化的特征子集，主要是利用對支持向量機的性能影響進行特征選擇，選擇的效果很好。目前

6、的研究還只是對樣本類別已知的情況下進行特征選擇，隨著支持向量機的理論研究不斷深入，支持向量機用于非監(jiān)督特征選擇是完全可能的。 另外，還對特征選擇算法的應用進行了初步探討，并以特征選擇算法在基于內容圖像檢索中的應用作為例子，詳細分析了基于內容的圖像檢索中特征選擇的必要性和采用的方法，對其特有的方法——相關反饋技術進行了深入的分析研究，給出其理論模型。同時將前面提出的監(jiān)督高維特征選擇算法在圖像數據庫中做了粗略的實驗，獲得不錯的效果。