基于監(jiān)督聚類的極限學習機的增量學習算法研究.pdf

1、傳統(tǒng)的學習算法都是批量學習算法，即假設一次性獲得所有樣本，或者獲得有代表性的樣本，然后用其對分類器進行訓練。但在實際的生活中，要一次性獲得所有樣本，或者獲得有代表性的樣本是不現(xiàn)實的。針對這種情況，傳統(tǒng)的批量學習算法，面對新來樣本時，總是將新增樣本和之前所有已經(jīng)學習過的樣本進行再次學習，但這樣會耗費很多時間，且對內(nèi)存的要求也比較高。增量學習，能夠在保存以前已經(jīng)學習到的―舊知識‖的基礎上，實現(xiàn)對樣本的增量學習。僅對新樣本進行增量學習，加快了

2、算法的學習速度，也減少了算法對內(nèi)存的需求，較好的解決了上述問題。國內(nèi)外對增量學習已經(jīng)進行了廣泛的研究，主要有基于支持向量機的增量學習算法、基于貝葉斯網(wǎng)絡的增量學習算法、基于神經(jīng)網(wǎng)絡的增量學習算法。極限學習機是單隱層前饋神經(jīng)網(wǎng)絡的一種典型學習算法，具有學習速度快、擬合度高、泛化性能好、分類速度快、參數(shù)設置容易等優(yōu)點。
　　本文在極限學習機的基礎上，引入監(jiān)督聚類的概念，提出了一種新的增量學習算法--CW-ELM算法。論文中首先說明了監(jiān)

3、督聚類中，我們所擁有的重要先驗知識--樣本的類別信息；然后闡述了傳統(tǒng)的、基于距離的聚類標準的缺點，從理論上說明了采用―樣本輸出‖是否接近作為新的聚類標準的合理性，在此基礎上提出了一種新的監(jiān)督聚類標準，即基于―樣本類別‖和―樣本輸出‖的監(jiān)督聚類準則。將同一樣本類別的、―樣本輸出‖接近的樣本分為同一簇。在構造極限學習機時，首先對樣本進行聚類，并用一個矩陣去記錄每個簇的簇中心；在進行增量學習時，我們只需將每個簇的簇中心和新來樣本進行學習即可，