面向非平衡數(shù)據(jù)集的多簇IB算法研究.pdf

1、IB方法是基于率失真理論的無(wú)監(jiān)督數(shù)據(jù)模式分析方法，它自1999年提出至今已在眾多領(lǐng)域取得成功的應(yīng)用。IB方法具有嚴(yán)密的理論基礎(chǔ)，它通過(guò)將數(shù)據(jù)數(shù)據(jù)對(duì)象壓縮到一個(gè)“瓶頸”變量的同時(shí)最大限度的保存特征變量的所有的相關(guān)信息。非平衡數(shù)據(jù)問(wèn)題是機(jī)器學(xué)習(xí)，數(shù)據(jù)挖掘和模式識(shí)別研究領(lǐng)域中最具有挑戰(zhàn)性和最重要的問(wèn)題之一。由于非平衡數(shù)據(jù)的獨(dú)特構(gòu)造特性----歸屬于少數(shù)類(lèi)的樣本數(shù)量遠(yuǎn)遠(yuǎn)小于其他類(lèi)中的樣本數(shù)量的數(shù)據(jù)集，許多傳統(tǒng)的模式識(shí)別算法在對(duì)非平衡數(shù)據(jù)集的分析

2、上表現(xiàn)不夠理想：即使在輸入數(shù)據(jù)集具有明顯的簇規(guī)模大小的情況下，它們往往會(huì)仍然產(chǎn)生規(guī)模相對(duì)均勻的簇，這種現(xiàn)象被稱(chēng)之為“均勻效應(yīng)”。
　　本文針對(duì)基于率失真理論的信息瓶頸（Information Bottleneck，IB）方法在處理非平衡數(shù)據(jù)集時(shí)，產(chǎn)生傾向于將大簇中的數(shù)據(jù)對(duì)象劃分到數(shù)據(jù)規(guī)模較小的小簇中的現(xiàn)象，引起“均勻效應(yīng)”的問(wèn)題，提出了一種面向非平衡數(shù)據(jù)的多簇信息瓶頸算法(McIB)。McIB算法采用欠采樣方法的思想來(lái)降低非平衡數(shù)

3、據(jù)集的傾斜度，使用先劃分再學(xué)習(xí)后融合的策略，來(lái)優(yōu)化IB算法處理非平衡數(shù)據(jù)的抽取合并過(guò)程。整個(gè)算法包含三步：首先提出了一種分離標(biāo)準(zhǔn)，根據(jù)分離標(biāo)準(zhǔn)來(lái)對(duì)確定欠采樣的比例參數(shù)，然后對(duì)數(shù)據(jù)進(jìn)行初步的聚類(lèi)生成可信賴(lài)的多個(gè)簇，最后再利用簇之間的相似性對(duì)簇進(jìn)行合并，組織多個(gè)簇代表每個(gè)實(shí)際的簇來(lái)得到最終的聚類(lèi)結(jié)果。與欠取樣方法相比較，McIB算法可以有效地避免大簇中的的重要信息丟失；與信息瓶頸算法相比較，McIB算法能夠有效的降低數(shù)據(jù)類(lèi)分布引起的“均勻效