AdaBoost中加權方式的改進.pdf

1、在數據挖掘領域中,分類是一種非常重要的技術。現在有很多種分類技術,如貝葉斯,決策樹等,這些分類器都是單分類器。人們?yōu)榱颂岣叻诸惼鞯募夹g做了很多的研究,但是目前單分類器性能的提升已經達到了一個瓶頸,人們根據弱學習和強學習等價性的原理,提出了集成學習的概念。所謂集成,就是將多個不同的分類器,通過一定的方法,利用相關的技術最終形成一個組合分類器。集成學習,即分類器集成也叫做分類器組合,形成的最終的分類器叫做組合分類器,它是組合多個分類器對實例

2、進行分類的系統(tǒng),其中每個分類器被稱為基分類器。實驗表明,多分類器組合能顯著提高分類器的分類性能。因此對其進行研究,具有重要的理論價值及現實意義。
　　 本文首先對集成學習的各個主要研究方向做出了綜合性的闡述,包括集成學習的概念,產生原因,生成方式,組合方式以及其意義等。并介紹了加權的一些研究內容,包括可以用來加權的對象等。接下來詳細介紹了集成學習中的Boosting技術和Bagging技術。由已有的研究成果的總結可知,集成學習由

3、兩個階段組成:產生多樣性的預測模型和對這些模型進行組合。本文針對這兩個階段,對AdaBoost提出兩種不同的改進,通過改進其加權方式來進一步提高算法的分類準確率。
　　 第一,傳統(tǒng)的AdaBoost算法中的每個基分類器的權重是根據對訓練集進行分類時所得到的錯誤率得到的,那么它的權重對于待測實例來說是靜態(tài)的。如果把每個基分類器給待測實例預測類值時,所取類值的概率加入考慮范圍,那么給基分類器所賦的權值就更側重于待測實例的真實情況。<

4、br>　　 第二,傳統(tǒng)的AdaBoost算法在建立基分類器時,需要不斷調整訓練集中實例的權值,依據的是基分類器對訓練集進行分類時的錯誤率。所有被分錯的實例均用同一個權重因子進行加權。但是每個實例被分錯時,是以不同的可能性被分錯的,然而卻被等同看待。如果加權時把分錯概率的大小考慮到加權因子中,會使實例的權值更利于建立一個分類精度高的分類器。
　　 最后,在Weka系統(tǒng)上實現了這兩個新算法以及比較算法,并通過實驗進行了多方面的比較