概率混淆熵分類器評價方法研究.pdf

1、現(xiàn)今，分類技術作為數(shù)據(jù)挖掘領域中一項重要技術，不僅應用在機器學習、模式識別等科學研究中，也廣泛應用在實際生活中的各個方面。一個分類器可以被付諸應用的前提是此分類器性能的良好程度是可以被接受的，因此如何更好地評價和選擇分類器成為模式識別領域一個至關重要的問題。
　　 首先，本文介紹了分類器的概念，并分析了分類器評價方法的研究現(xiàn)狀。雖然目前已經(jīng)提出很多分類器評價指標，這些指標可以從不同方面對分類器性能進行評價，但沒有一種評價指標可以

2、從各方面綜合評價一個分類器的性能。另一方面，大部分評價指標是直接定義在二類的問題上的，然而多類問題上的分類器性能評價要復雜于二類問題，這尤其體現(xiàn)在評價一個分類器將各類樣本區(qū)分開的能力時。本文致力于面向多類問題的分類器評價指標的研究，綜合分析現(xiàn)有的分類器評價指標的優(yōu)缺點，提出更加綜合和精確的分類器評價指標。
　　 其次，本文介紹了概率混淆熵評價指標提出的理論基礎，提出了概率混淆矩陣的概念以及三種概率混淆熵評價方法的定義，即相對概率

3、混淆熵(rpCEN)，概率混淆熵(pCEN)和基于排序的概率混淆熵(spCEN)。三種概率混淆熵評價方法的計算分別基于不同的概率混淆矩陣。一個基本的概率混淆矩陣可以表示為[Pi，j]，其中元素Pi，j表示真實類別為i類的樣本被分到j類的平均概率。概率混淆熵評價方法是直接定義在多類問題上的評價指標，相比于定義在二類問題上的評價指標，概率混淆熵評價指標更多地利用了分類中的錯誤分類信息，不僅利用了真實類別為i的樣本是如何被錯誤地分到其他各個類

4、別中的信息，而且利用了其它各個類別中的樣本是如何被錯誤地分到第i類的信息。另一方面，三種概率混淆熵評價方法將樣本分為不同類的概率信息加入到分類器性能評價中，使其可以更精確更全面地評價分類器性能。
　　 最后，本文設計了兩個實驗，實驗一用于驗證概率混淆熵評價方法的可行性，實驗二將本文所提出的三種新指標分別與基于差錯的評價指標，基于概率的評價指標及AUC變體指標進行性能比較，并對三種新指標進行性能比較。實驗結(jié)果顯示三種新指標在分類器