基于演化超網(wǎng)絡的高維不平衡數(shù)據(jù)分類.pdf

1、超網(wǎng)絡是在細胞中生物分子網(wǎng)絡的啟發(fā)下形成的一種用于學習和記憶的概率圖論模型。超網(wǎng)絡是一種由大量超邊組成的特殊超圖。與一般意義上的圖不同，超圖的超邊可以連接兩個以上頂點。超網(wǎng)絡的這種特殊結(jié)構(gòu)使其能夠有效地表示特征屬性之間的高階關(guān)聯(lián)性。超網(wǎng)絡是一種基于規(guī)則的分類器。在模式分類的框架下，超網(wǎng)絡的超邊被看作決策規(guī)則，超邊被賦予相應的權(quán)值，用以表示特征屬性與類別之間的關(guān)聯(lián)程度，權(quán)值越大，關(guān)聯(lián)性越高。與其它模式分類方法相比較，超網(wǎng)絡分類模型具有實現(xiàn)

2、簡單、學習結(jié)果可讀等優(yōu)點。目前，超網(wǎng)絡模型已經(jīng)在生物醫(yī)學、多模態(tài)信息檢索、文本分類等領域取得了比較成功的應用。 本文主要研究基于超網(wǎng)絡模型的不平衡數(shù)據(jù)分類和高維數(shù)據(jù)分類問題，以及基于GPU的超網(wǎng)絡的并行演化學習和分類。
　　 不平衡數(shù)據(jù)分類問題是機器學習和數(shù)據(jù)挖掘領域的一個研究熱點。所謂不平衡數(shù)據(jù)是指數(shù)據(jù)中類別分布不均勻、某個類別的樣本占支配地位的數(shù)據(jù)集。不平衡數(shù)據(jù)普遍存在于現(xiàn)實世界中，如醫(yī)療數(shù)據(jù)分類、信用卡非法交易檢測等。然而

3、傳統(tǒng)的機器學習方法大都是建立在樣本類別分布均衡的基礎之上的。因此，在處理不平衡數(shù)據(jù)分類問題時傳統(tǒng)機器學習方法不能獲得滿意的結(jié)果。針對這一問題，介紹了一種代價敏感超網(wǎng)絡選擇性集成的方法。首先將代價敏感學習引入超網(wǎng)絡模型，提出了代價敏感的超網(wǎng)絡模型。然后為了解決代價設置問題，采用選擇性集成的方式自適應地設置代價參數(shù)。最后，在處理類別分布嚴重不平衡的數(shù)據(jù)的分類問題時，將采樣技術(shù)與代價敏感超網(wǎng)絡選擇性集成方法相結(jié)合，首先通過采樣技術(shù)降低數(shù)據(jù)的不

4、平衡程度，然后在采樣后的數(shù)據(jù)上對代價敏感超網(wǎng)絡進行選擇性集成。在10個常用的不平衡數(shù)據(jù)集上的對比實驗結(jié)果表明本文提出的代價敏感超網(wǎng)絡選擇性集成方法具有處理不平衡數(shù)據(jù)分類問題的優(yōu)勢。
　　 超網(wǎng)絡模型可以從訓練數(shù)據(jù)中有效地挖掘特征屬性之間的高階關(guān)聯(lián)性。然而，和其它傳統(tǒng)的機器學習方法一樣，在處理高維數(shù)據(jù)時超網(wǎng)絡也面臨著“維數(shù)災難”的問題。超網(wǎng)絡模型的搜索空間會隨著數(shù)據(jù)維數(shù)的增加而顯著擴大，這對超網(wǎng)絡模型的學習效果和學習效率都產(chǎn)生了嚴

5、重的影響。為了解決超網(wǎng)絡在處理高維數(shù)據(jù)的分類問題時所面臨的問題，介紹了一種多視角分層超網(wǎng)絡模型。首先將原始數(shù)據(jù)劃分為多個低維的局部視圖，然后在每個局部視圖上訓練第一層超網(wǎng)絡模型，最后將第一層超網(wǎng)絡作為第二層超網(wǎng)絡的輸入，對第一層超網(wǎng)絡模型學習得到的局部概念進行整合，形成全局概念。采用多視角的思想，第一層超網(wǎng)絡可以在低維的局部視圖中高效地搜索類別分辨能力強的超邊，第二層超網(wǎng)絡模型對第一層的局部概念進行整合。多視角分層超網(wǎng)絡模型可以很好地維

6、持數(shù)據(jù)的局部視圖和全局視圖，為解決高維數(shù)據(jù)分類問題提供了一種有效的方法。在4個高維數(shù)據(jù)上的實驗結(jié)果表明多視角分層超網(wǎng)絡模型能夠改善普通超網(wǎng)絡在高維數(shù)據(jù)分類問題上的分類性能。
　　 目前，超網(wǎng)絡模型是通過DNA計算實現(xiàn)的。在基于DNA計算的超網(wǎng)絡模型中，采用四種核糖核苷酸(A，T，G，C)將超邊編碼成DNA分子，超網(wǎng)絡就是一個由大量DNA分子組成的分子庫，超網(wǎng)絡的演化學習是通過酶促反應等生物技術(shù)實現(xiàn)的。超網(wǎng)絡的學習和分類在DNA計

7、算中都是以高度并行的方式進行的。然而，DNA計算雖然具有很高的并行性，但是DNA計算的技術(shù)難度比較大且對實驗條件的要求比較苛刻，這在一定程度上限制了DNA計算的使用范圍?，F(xiàn)代GPU已經(jīng)演變?yōu)橐环N通用的并行處理器，它的出現(xiàn)為實現(xiàn)超網(wǎng)絡的并行化提供了一條新的、簡單的途徑?；贕PU并行計算框架，介紹了一種孤島遺傳算法演化的并行超網(wǎng)絡模型。超網(wǎng)絡被看作為由很多個體組成的一個種群，一條超邊表示一個個體。為了使用遺傳算法對超網(wǎng)絡進行演化學習，首先

8、將超邊編碼成二進制串，然后將整個超邊庫劃分成多個子庫，每個子庫分別代表一個子種群。在對超網(wǎng)絡模型進行演化學習時，把一個子種群映射到GPU的一個線程塊，而該子種群中的個體被映射到線程塊中的線程之上，并由線程負責個體的演化學習的所有操作的實現(xiàn)。由于GPU中的線程具有線程塊間和線程塊內(nèi)兩個層次的并行性，超網(wǎng)絡的演化學習能夠獲得很高的并行性。在4個DNA微陣列數(shù)據(jù)集上進行實驗，實驗結(jié)果表明與基于CPU的單線程的實現(xiàn)方式相比，基于GPU的并行超網(wǎng)