惰性學習中實例選擇研究與應用.pdf

1、惰性學習不同于傳統(tǒng)的急性學習，它具有訓練代價少、假說空間豐富、漸進學習能力強、能進行增量學習等優(yōu)點，因而被廣泛應用于數(shù)據(jù)挖掘和網絡信息處理等領域。然而由于惰性學習在分類查詢實例時，需要計算查詢實例與所有存儲實例的距離，因而存在查詢代價大的缺點。為了解決這個問題，在惰性學習誕生后不久，就出現(xiàn)了第一個實例選擇算法，直至今天仍不斷有新的實例選擇算法出現(xiàn)。可見實例選擇算法是提高惰性學習性能的重要方法，這同時也反映出現(xiàn)有實例選擇算法仍有不足。為此

2、，本文展開了如下研究。
　　首先，進行了實例的特定鄰域的分析。本文歸納和總結了一類經典的實例選擇算法的共同點：它們都使用一種由實例的最近異類實例限定的特定鄰域，并且顯式或隱式地用到由這個特定鄰域得到的兩個同類實例集?？梢娺@個特定鄰域和這兩個同類實例集在實例選擇中有著重要作用。然而這些算法都忽視了限定鄰域的最近異類實例在實例選擇中的重要作用。本文由此提出了兩個新的集合：最近異類實例集和異類實例覆蓋集。然后分析了這兩個集合在實例選擇的

3、作用，由此設計了一種邊界實例選擇算法（BIS）。最后在二維模擬數(shù)據(jù)集和UCI數(shù)據(jù)集上進行了實驗，實驗結果表明，BIS算法能較大量地約簡實例存儲量，并在很多數(shù)據(jù)集上取得較好的分類精度，但是在部分數(shù)據(jù)集上得到的選擇集的分類精度不夠理想。這也促使本文從更深層次——實例的分類性能上分析實例選擇問題。
　　其次，進行了實例分類性能評價函數(shù)的研究。由于經典的算法中沒有考慮實例覆蓋交疊的情況，對實例的分類性能的評價不夠精確，因此本文分析和使用了

4、更精確的相對同類實例覆蓋來評價實例在分類同類實例的潛在貢獻。同時，由于實例的最近異類實例集和異類實例覆蓋集也存在交疊的情況，因此本文分析和定義了相對異類實例覆蓋來精確地評價實例在維護分類邊界方面的貢獻。然后，同時從同類實例的角度和異類實例的角度綜合考慮，定義了更精確和全面的實例分類性能評價函數(shù)，以此作為設計實例選擇算法的基礎。
　　再次，進行了實例選擇算法的設計。針對直接使用實例分類性能函數(shù)進行實例選擇時，需要優(yōu)化分類性能閾值選擇

5、的問題，本文設計了一種一致子集的實例選擇方式，避開了這個問題。由此設計了基于實例分類性能的一致子集實例選擇算法（IPECSS）。然后，根據(jù)IPECSS算法的特點，通過實驗系統(tǒng)地分析了IPECSS算法的性能，并在二維模擬數(shù)據(jù)集和UCI機器學習數(shù)據(jù)庫中的32個數(shù)據(jù)集上與經典的實例選擇算法進行了實驗比較。實驗結果表明，IPECSS算法能在大幅度約簡實例集的存儲量的同時，保持著與訓練實例集相同或更好分類精度，并較大地提高了分類效率。