針對(duì)含有概念漂移問(wèn)題的增量學(xué)習(xí)算法研究.pdf

1、隨著大數(shù)據(jù)時(shí)代的到來(lái)，大規(guī)模數(shù)據(jù)處理和學(xué)習(xí)成為了學(xué)術(shù)界研究的焦點(diǎn)，也為工業(yè)界設(shè)計(jì)更優(yōu)質(zhì)的應(yīng)用和服務(wù)帶來(lái)可能。增量學(xué)習(xí)通過(guò)增量式地學(xué)習(xí)新數(shù)據(jù)、更新已有模型的方法實(shí)現(xiàn)大規(guī)模數(shù)據(jù)的處理，也受到了研究領(lǐng)域的廣泛關(guān)注。然而，概念漂移，即數(shù)據(jù)聯(lián)合概率分布發(fā)生變化的現(xiàn)象，往往會(huì)嚴(yán)重影響增量學(xué)習(xí)的性能，給增量學(xué)習(xí)在真實(shí)學(xué)習(xí)任務(wù)中的應(yīng)用帶來(lái)了巨大的挑戰(zhàn)。為了處理增量學(xué)習(xí)中的概念漂移問(wèn)題，本文提出了兩個(gè)針對(duì)概念漂移問(wèn)題的增量學(xué)習(xí)算法，并設(shè)計(jì)一個(gè)并行化學(xué)習(xí)框

2、架。主要工作包括:
　　首先，為了使用增量學(xué)習(xí)中的歷史知識(shí)輔助概念漂移的處理，本文提出了一種基于差異性模型選擇和知識(shí)遷移的概念漂移處理方法(DTEL)。本工作假設(shè)在概念漂移的情況下，歷史數(shù)據(jù)中的知識(shí)和當(dāng)前知識(shí)間存在相關(guān)性。因此，可以通過(guò)知識(shí)遷移的方式，一方面提取出歷史數(shù)據(jù)訓(xùn)練所得模型（即歷史模型）中的有用知識(shí)，另一方面去除其中和當(dāng)前數(shù)據(jù)分布不一致的知識(shí)。通過(guò)這種方式利用歷史知識(shí)輔助增量學(xué)習(xí)對(duì)概念漂移的處理。此外，由于存儲(chǔ)空間的限制

3、，僅有限數(shù)量的歷史模型可以被算法所保存。對(duì)此，本工作提出一個(gè)基于差異性的模型選擇方法。通過(guò)維護(hù)差異性較大的一組歷史模型，為接下來(lái)的學(xué)習(xí)步提供盡可能多的知識(shí)，以更大的可能性為知識(shí)遷移提供較好的起始解。為了驗(yàn)證本算法的有效性，本工作使用了多組人造數(shù)據(jù)和真實(shí)數(shù)據(jù)進(jìn)行實(shí)驗(yàn)，其中人造數(shù)據(jù)涵蓋了五種不同的概念漂移類型、真實(shí)數(shù)據(jù)涉及了四個(gè)不同的應(yīng)用領(lǐng)域。實(shí)驗(yàn)結(jié)果表明基于差異性模型選擇和知識(shí)遷移的方法能夠有效提升增量學(xué)習(xí)對(duì)于概念漂移的處理能力，且本算法

4、在不同類型的概念漂移上均有較好的表現(xiàn)。
　　其次，為了處理類演化類型概念漂移，本文提出了一種基于類的集成學(xué)習(xí)方法。類演化是一個(gè)特殊類型的概念漂移問(wèn)題，指在學(xué)習(xí)過(guò)程中類出現(xiàn)或消失的現(xiàn)象。不同于已有工作中突變式類演化的情況，為了處理真實(shí)應(yīng)用中的類演化問(wèn)題，本工作將類演化建模為一種逐漸變化的過(guò)程，并提出了一個(gè)基于類的集成學(xué)習(xí)算法(CBCE)。通過(guò)新建基模型和抑制基模型的使用來(lái)達(dá)到處理類演化類型概念漂移的目的。考慮到漸變式類演化導(dǎo)致的動(dòng)態(tài)

5、類不平衡問(wèn)題，本工作提出一個(gè)動(dòng)態(tài)數(shù)據(jù)下采樣的方法，并應(yīng)用在各個(gè)基模型中。類演化類型概念漂移主要包括三種不同的基本元素，即類出現(xiàn)、類消失、以及消失類再次出現(xiàn)。本工作選用了人造數(shù)據(jù)和真實(shí)數(shù)據(jù)來(lái)表示各種的類演化場(chǎng)景，用以對(duì)基于類的集成學(xué)習(xí)算法進(jìn)行綜合的驗(yàn)證。實(shí)驗(yàn)使用兩個(gè)真實(shí)數(shù)據(jù)集對(duì)類演化問(wèn)題進(jìn)行模擬，使用社交網(wǎng)絡(luò)數(shù)據(jù)作為真實(shí)數(shù)據(jù)進(jìn)行測(cè)試。實(shí)驗(yàn)結(jié)果表明本算法能夠有效的對(duì)類演化類型概念漂移進(jìn)行處理，且能有效處理漸變類演化帶來(lái)的數(shù)據(jù)中動(dòng)態(tài)類不平衡問(wèn)

6、題。
　　最后，為了將增量學(xué)習(xí)算法在大規(guī)模數(shù)據(jù)中進(jìn)行應(yīng)用，本文設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)針對(duì)概念漂移問(wèn)題的并行化增量集成學(xué)習(xí)實(shí)現(xiàn)方法，用于提高增量學(xué)習(xí)中集成學(xué)習(xí)模型的學(xué)習(xí)和使用效率。在工業(yè)界真實(shí)應(yīng)用中，大數(shù)據(jù)的學(xué)習(xí)中不僅要求算法具有較高的準(zhǔn)確率，而且應(yīng)該滿足高效執(zhí)行的要求，以適應(yīng)數(shù)據(jù)的快速增長(zhǎng)?？刹⑿行允窃O(shè)計(jì)并行系統(tǒng)的基礎(chǔ)。在增量學(xué)習(xí)中，集成學(xué)習(xí)模型具有很明顯的可并行性。為了提升算法執(zhí)行的時(shí)間效率，本工作對(duì)概念漂移處理中的集成算法進(jìn)行分析歸