概率混淆熵分類(lèi)器評(píng)價(jià)方法研究.pdf

1、現(xiàn)今，分類(lèi)技術(shù)作為數(shù)據(jù)挖掘領(lǐng)域中一項(xiàng)重要技術(shù)，不僅應(yīng)用在機(jī)器學(xué)習(xí)、模式識(shí)別等科學(xué)研究中，也廣泛應(yīng)用在實(shí)際生活中的各個(gè)方面。一個(gè)分類(lèi)器可以被付諸應(yīng)用的前提是此分類(lèi)器性能的良好程度是可以被接受的，因此如何更好地評(píng)價(jià)和選擇分類(lèi)器成為模式識(shí)別領(lǐng)域一個(gè)至關(guān)重要的問(wèn)題。
　　 首先，本文介紹了分類(lèi)器的概念，并分析了分類(lèi)器評(píng)價(jià)方法的研究現(xiàn)狀。雖然目前已經(jīng)提出很多分類(lèi)器評(píng)價(jià)指標(biāo)，這些指標(biāo)可以從不同方面對(duì)分類(lèi)器性能進(jìn)行評(píng)價(jià)，但沒(méi)有一種評(píng)價(jià)指標(biāo)可以

2、從各方面綜合評(píng)價(jià)一個(gè)分類(lèi)器的性能。另一方面，大部分評(píng)價(jià)指標(biāo)是直接定義在二類(lèi)的問(wèn)題上的，然而多類(lèi)問(wèn)題上的分類(lèi)器性能評(píng)價(jià)要復(fù)雜于二類(lèi)問(wèn)題，這尤其體現(xiàn)在評(píng)價(jià)一個(gè)分類(lèi)器將各類(lèi)樣本區(qū)分開(kāi)的能力時(shí)。本文致力于面向多類(lèi)問(wèn)題的分類(lèi)器評(píng)價(jià)指標(biāo)的研究，綜合分析現(xiàn)有的分類(lèi)器評(píng)價(jià)指標(biāo)的優(yōu)缺點(diǎn)，提出更加綜合和精確的分類(lèi)器評(píng)價(jià)指標(biāo)。
　　 其次，本文介紹了概率混淆熵評(píng)價(jià)指標(biāo)提出的理論基礎(chǔ)，提出了概率混淆矩陣的概念以及三種概率混淆熵評(píng)價(jià)方法的定義，即相對(duì)概率

3、混淆熵(rpCEN)，概率混淆熵(pCEN)和基于排序的概率混淆熵(spCEN)。三種概率混淆熵評(píng)價(jià)方法的計(jì)算分別基于不同的概率混淆矩陣。一個(gè)基本的概率混淆矩陣可以表示為[Pi，j]，其中元素Pi，j表示真實(shí)類(lèi)別為i類(lèi)的樣本被分到j(luò)類(lèi)的平均概率。概率混淆熵評(píng)價(jià)方法是直接定義在多類(lèi)問(wèn)題上的評(píng)價(jià)指標(biāo)，相比于定義在二類(lèi)問(wèn)題上的評(píng)價(jià)指標(biāo)，概率混淆熵評(píng)價(jià)指標(biāo)更多地利用了分類(lèi)中的錯(cuò)誤分類(lèi)信息，不僅利用了真實(shí)類(lèi)別為i的樣本是如何被錯(cuò)誤地分到其他各個(gè)類(lèi)

4、別中的信息，而且利用了其它各個(gè)類(lèi)別中的樣本是如何被錯(cuò)誤地分到第i類(lèi)的信息。另一方面，三種概率混淆熵評(píng)價(jià)方法將樣本分為不同類(lèi)的概率信息加入到分類(lèi)器性能評(píng)價(jià)中，使其可以更精確更全面地評(píng)價(jià)分類(lèi)器性能。
　　 最后，本文設(shè)計(jì)了兩個(gè)實(shí)驗(yàn)，實(shí)驗(yàn)一用于驗(yàn)證概率混淆熵評(píng)價(jià)方法的可行性，實(shí)驗(yàn)二將本文所提出的三種新指標(biāo)分別與基于差錯(cuò)的評(píng)價(jià)指標(biāo)，基于概率的評(píng)價(jià)指標(biāo)及AUC變體指標(biāo)進(jìn)行性能比較，并對(duì)三種新指標(biāo)進(jìn)行性能比較。實(shí)驗(yàn)結(jié)果顯示三種新指標(biāo)在分類(lèi)器