基于構(gòu)造性學(xué)習(xí)的覆蓋算法的發(fā)展及應(yīng)用.pdf

1、機(jī)器學(xué)習(xí)通過(guò)使用機(jī)器來(lái)模擬人類(lèi)的學(xué)習(xí)活動(dòng)，從已知事物中發(fā)現(xiàn)規(guī)律、獲取知識(shí)，從而建立對(duì)未知事物的預(yù)測(cè)模型，根據(jù)經(jīng)驗(yàn)不斷提高自身的水平。研究者經(jīng)過(guò)多年的探索，提出了如支持向量機(jī)、決策樹(shù)、神經(jīng)網(wǎng)絡(luò)等多種優(yōu)秀的學(xué)習(xí)方法，并將這些方法推廣到機(jī)器學(xué)習(xí)中的各個(gè)領(lǐng)域。中國(guó)學(xué)者在基于覆蓋思想的學(xué)習(xí)方法上進(jìn)行了很多工作，張鈴和張鈸所提出的基于構(gòu)造性學(xué)習(xí)的覆蓋算法被認(rèn)為是一種具有代表性的方法。
　　 覆蓋算法能夠根據(jù)樣本的自身特點(diǎn)來(lái)構(gòu)造神經(jīng)網(wǎng)絡(luò)，克服

2、了傳統(tǒng)神經(jīng)網(wǎng)絡(luò)中的一些缺陷，如網(wǎng)絡(luò)結(jié)構(gòu)難以確定、速度慢等。該方法形式直觀，能夠有效對(duì)多類(lèi)分類(lèi)問(wèn)題和海量數(shù)據(jù)進(jìn)行處理，在一些實(shí)際應(yīng)用中表現(xiàn)出良好的性能。相關(guān)研究者圍繞著該算法的改進(jìn)和應(yīng)用進(jìn)行了大量的研究工作。
　　 目前已有的對(duì)覆蓋算法的各項(xiàng)工作都是針對(duì)單示例單標(biāo)記的學(xué)習(xí)方式來(lái)進(jìn)行的，但隨著機(jī)器學(xué)習(xí)的發(fā)展，不斷出現(xiàn)一些新的學(xué)習(xí)問(wèn)題。本文結(jié)合機(jī)器學(xué)習(xí)中出現(xiàn)的一些新模型，對(duì)覆蓋算法進(jìn)行了發(fā)展和應(yīng)用，主要體現(xiàn)在如下幾個(gè)方面：
　　

3、 (1)對(duì)覆蓋算法進(jìn)行了全面研究，并將算法應(yīng)用于實(shí)際分類(lèi)問(wèn)題的解決。
　　 本文對(duì)覆蓋算法的基本模型以及近年來(lái)所取得的各項(xiàng)理論和應(yīng)用成果進(jìn)行了全面研究，探討了如何將算法應(yīng)用于文本分類(lèi)和垃圾郵件過(guò)濾等問(wèn)題的解決。
　　 在應(yīng)用過(guò)程中，針對(duì)實(shí)際問(wèn)題的特點(diǎn)，設(shè)計(jì)了不同的改進(jìn)策略。在文本分類(lèi)中，通過(guò)引入維數(shù)調(diào)節(jié)的策略，使不同類(lèi)別文本的特征能夠在特征向量中均等出現(xiàn)，提高文本分類(lèi)的準(zhǔn)確率。在垃圾郵件過(guò)濾中，將郵件的各類(lèi)附加信息與正

4、文內(nèi)容一起構(gòu)成復(fù)合特征，提高過(guò)濾器的分類(lèi)效果，并針對(duì)垃圾郵件過(guò)濾中正常郵件的風(fēng)險(xiǎn)最小化問(wèn)題進(jìn)行了討論。
　　 (2)對(duì)核覆蓋算法進(jìn)行了細(xì)致分析，將算法加強(qiáng)為模糊核覆蓋算法。
　　 支持向量機(jī)方法通過(guò)將樣本映射到高維特征空間后構(gòu)造最優(yōu)分類(lèi)超平面，取得了優(yōu)秀的分類(lèi)性能。將核函數(shù)引入到覆蓋算法后所得到的核覆蓋算法能夠有效提高分類(lèi)能力，但仍存在不足之處。本文對(duì)核覆蓋算法中的半徑選擇策略和分類(lèi)原則進(jìn)行了細(xì)致分析，指出現(xiàn)有處理方式所

5、存在的缺陷。通過(guò)改變領(lǐng)域半徑的確定原則，并對(duì)拒識(shí)樣本引入新的隸屬度函數(shù)來(lái)描述樣本對(duì)各個(gè)類(lèi)別的隸屬度，將算法加強(qiáng)為模糊核覆蓋算法，明確了隸屬度函數(shù)的物理意義。引入幾種性能不同的覆蓋約簡(jiǎn)方法，結(jié)合模糊核覆蓋算法，能夠在保持識(shí)別性能的前提下，有效降低覆蓋數(shù)量，提高分類(lèi)效率。在一些數(shù)據(jù)集上的測(cè)試和對(duì)比表明了方法的有效性。
　　 (3) 研究了多標(biāo)記學(xué)習(xí)下的覆蓋算法。
　　 傳統(tǒng)學(xué)習(xí)問(wèn)題中，每個(gè)樣本只屬于一個(gè)類(lèi)別，即僅有一個(gè)標(biāo)記。

6、而在實(shí)際應(yīng)用中，一個(gè)樣本可能同時(shí)屬于多個(gè)類(lèi)別，如文本分類(lèi)和場(chǎng)景分類(lèi)等。本文對(duì)多標(biāo)記學(xué)習(xí)中的樣本集分解和算法改造兩種策略進(jìn)行了研究，針對(duì)多標(biāo)記學(xué)習(xí)的特點(diǎn)和評(píng)價(jià)指標(biāo)，探討如何使用覆蓋算法來(lái)解決多標(biāo)記問(wèn)題。實(shí)驗(yàn)表明，多標(biāo)記覆蓋算法的性能達(dá)到了同類(lèi)算法中的先進(jìn)水平，并且在時(shí)空開(kāi)銷(xiāo)上具有優(yōu)勢(shì)。由于多標(biāo)記學(xué)習(xí)中對(duì)訓(xùn)練數(shù)據(jù)的標(biāo)記需要更多的人力和物力，因此數(shù)據(jù)集中的已標(biāo)記樣本數(shù)量一般較少。為了能利用大量未標(biāo)記樣本來(lái)輔助學(xué)習(xí)，本文采用半監(jiān)督學(xué)習(xí)中的自訓(xùn)練

7、策略，結(jié)合已標(biāo)記樣本和未標(biāo)記樣本來(lái)訓(xùn)練分類(lèi)器，提高分類(lèi)性能，取得了一定成效。
　　 (4) 討論了如何在多示例學(xué)習(xí)中使用覆蓋算法進(jìn)行分類(lèi)。
　　 多示例學(xué)習(xí)與傳統(tǒng)的監(jiān)督學(xué)習(xí)、無(wú)監(jiān)督學(xué)習(xí)和強(qiáng)化學(xué)習(xí)都存在差異，是機(jī)器學(xué)習(xí)中的第四種框架，起源于藥物分子活性預(yù)測(cè)的研究。在多示例學(xué)習(xí)中，學(xué)習(xí)的對(duì)象是由多個(gè)示例所構(gòu)成的包，包的標(biāo)記已知，示例的標(biāo)記未知，但包的標(biāo)記是由某些示例決定的。多示例學(xué)習(xí)的難度比帶噪聲的監(jiān)督學(xué)習(xí)難度更大。本文對(duì)現(xiàn)

8、有的各類(lèi)多示例學(xué)習(xí)方法進(jìn)行了研究，對(duì)如何將覆蓋算法應(yīng)用于多示例學(xué)習(xí)進(jìn)行了探討，根據(jù)不同的解決思路，給出幾種多示例學(xué)習(xí)覆蓋算法，算法效果達(dá)到大多數(shù)同類(lèi)方法的水平。多示例多標(biāo)記學(xué)習(xí)結(jié)合了多示例學(xué)習(xí)和多標(biāo)記學(xué)習(xí)兩種問(wèn)題，是分類(lèi)問(wèn)題中的最一般情況，能夠描述輸入空間和輸出空間中所具有的歧義性。本文探討了如何將覆蓋算法與其它方法相結(jié)合來(lái)解決該問(wèn)題的思路，并給出初步的解決方案。
　　 在本文的研究工作中，進(jìn)行了如下創(chuàng)新：
　　 (1)

9、 將覆蓋算法應(yīng)用于文本分類(lèi)和垃圾郵件過(guò)濾等實(shí)際分類(lèi)問(wèn)題，并針對(duì)具體應(yīng)用的特點(diǎn)分別提出不同的調(diào)整策略，提高分類(lèi)器的性能。
　　 (2)對(duì)核覆蓋算法中如何確定領(lǐng)域半徑給出新的策略；對(duì)拒識(shí)點(diǎn)引入新的隸屬度函數(shù)；對(duì)隸屬度函數(shù)的物理意義給予明確的解釋?zhuān)粚⒑烁采w算法加強(qiáng)為模糊核覆蓋算法；結(jié)合模糊核覆蓋算法給出幾種覆蓋精簡(jiǎn)的方法。
　　 (3) 將覆蓋算法推廣到多標(biāo)記學(xué)習(xí)，結(jié)合樣本集分解和算法改造兩種策略，提出多標(biāo)記覆蓋算法，其性能達(dá)