面向非平衡數(shù)據(jù)集的多簇IB算法研究.pdf

1、IB方法是基于率失真理論的無監(jiān)督數(shù)據(jù)模式分析方法，它自1999年提出至今已在眾多領(lǐng)域取得成功的應(yīng)用。IB方法具有嚴(yán)密的理論基礎(chǔ)，它通過將數(shù)據(jù)數(shù)據(jù)對象壓縮到一個“瓶頸”變量的同時最大限度的保存特征變量的所有的相關(guān)信息。非平衡數(shù)據(jù)問題是機(jī)器學(xué)習(xí)，數(shù)據(jù)挖掘和模式識別研究領(lǐng)域中最具有挑戰(zhàn)性和最重要的問題之一。由于非平衡數(shù)據(jù)的獨(dú)特構(gòu)造特性----歸屬于少數(shù)類的樣本數(shù)量遠(yuǎn)遠(yuǎn)小于其他類中的樣本數(shù)量的數(shù)據(jù)集，許多傳統(tǒng)的模式識別算法在對非平衡數(shù)據(jù)集的分析

2、上表現(xiàn)不夠理想：即使在輸入數(shù)據(jù)集具有明顯的簇規(guī)模大小的情況下，它們往往會仍然產(chǎn)生規(guī)模相對均勻的簇，這種現(xiàn)象被稱之為“均勻效應(yīng)”。
　　本文針對基于率失真理論的信息瓶頸（Information Bottleneck，IB）方法在處理非平衡數(shù)據(jù)集時，產(chǎn)生傾向于將大簇中的數(shù)據(jù)對象劃分到數(shù)據(jù)規(guī)模較小的小簇中的現(xiàn)象，引起“均勻效應(yīng)”的問題，提出了一種面向非平衡數(shù)據(jù)的多簇信息瓶頸算法(McIB)。McIB算法采用欠采樣方法的思想來降低非平衡數(shù)

3、據(jù)集的傾斜度，使用先劃分再學(xué)習(xí)后融合的策略，來優(yōu)化IB算法處理非平衡數(shù)據(jù)的抽取合并過程。整個算法包含三步：首先提出了一種分離標(biāo)準(zhǔn)，根據(jù)分離標(biāo)準(zhǔn)來對確定欠采樣的比例參數(shù)，然后對數(shù)據(jù)進(jìn)行初步的聚類生成可信賴的多個簇，最后再利用簇之間的相似性對簇進(jìn)行合并，組織多個簇代表每個實(shí)際的簇來得到最終的聚類結(jié)果。與欠取樣方法相比較，McIB算法可以有效地避免大簇中的的重要信息丟失；與信息瓶頸算法相比較，McIB算法能夠有效的降低數(shù)據(jù)類分布引起的“均勻效