基于差異性度量的分類(lèi)器集成優(yōu)化方法研究與應(yīng)用.pdf

1、分類(lèi)問(wèn)題，作為人類(lèi)的基本社會(huì)活動(dòng)，在人們的日常生活和任務(wù)學(xué)習(xí)中，扮演著重要角色。隨著數(shù)據(jù)挖掘和模式識(shí)別技術(shù)的快速發(fā)展，利用機(jī)器學(xué)習(xí)和模式識(shí)別技術(shù)對(duì)數(shù)據(jù)進(jìn)行分析處理，尋找數(shù)據(jù)之間內(nèi)在的特殊聯(lián)系，對(duì)解決實(shí)際應(yīng)用中的分類(lèi)問(wèn)題具有重要的指導(dǎo)意義和應(yīng)用價(jià)值，由此推動(dòng)了數(shù)據(jù)分類(lèi)器技術(shù)的快速發(fā)展。
　　分類(lèi)器技術(shù)正處于多分類(lèi)器集成階段，其是由單一分類(lèi)器時(shí)期過(guò)渡而來(lái)。1997年，國(guó)際機(jī)器學(xué)習(xí)領(lǐng)域的權(quán)威T.G Dietterich提出了，集成學(xué)習(xí)、

2、符號(hào)學(xué)習(xí)、統(tǒng)計(jì)學(xué)習(xí)、強(qiáng)化學(xué)習(xí)共同組成了機(jī)器學(xué)習(xí)的四大研究方向。其中，集成學(xué)習(xí)被列為四大研究方向之首，并被認(rèn)定為機(jī)器學(xué)習(xí)范式的一種新形式。但是時(shí)至今日，對(duì)于如何訓(xùn)練出精度更高、差異性更大的基分類(lèi)器，以及如何進(jìn)一步提升集成模型的泛化性能，來(lái)實(shí)現(xiàn)更有效的集成學(xué)習(xí)，仍是集成學(xué)習(xí)領(lǐng)域關(guān)注卻未解決的問(wèn)題之一。
　　基于上述背景，本文圍繞基于差異性度量的分類(lèi)器集成優(yōu)化方法與應(yīng)用開(kāi)展了相關(guān)研究，主要研究工作和成果包括:
　　(1)提出了一種

3、基于距離熵的分類(lèi)器差異性度量方法。該方法利用將距離和信息熵進(jìn)行結(jié)合的思想，用基分類(lèi)器在不同評(píng)價(jià)指標(biāo)上相對(duì)于基準(zhǔn)數(shù)據(jù)的距離熵來(lái)測(cè)度基分類(lèi)器之間基于度量指標(biāo)的整體差異性。
　　(2)提出了一種基于旋轉(zhuǎn)森林變換的混合異構(gòu)分類(lèi)器選擇性集成方法。該方法利用旋轉(zhuǎn)森林技術(shù)模型構(gòu)建基于特征劃分的訓(xùn)練子集并構(gòu)造出多個(gè)異構(gòu)分類(lèi)器，利用距離熵方法進(jìn)行基分類(lèi)器差異性度量，以基分類(lèi)器自身分類(lèi)精度和彼此差異性作為選擇性集成條件，通過(guò)計(jì)算基分類(lèi)器分類(lèi)結(jié)果的置信