概率統(tǒng)計在分類器設計中的應用及樸素貝葉斯分類器改進研究.pdf

1、分類是數(shù)據(jù)挖掘中一項非常重要的任務，在現(xiàn)實生活中有著廣泛的應用。例如，根據(jù)電子郵件的標題和內(nèi)容判斷某郵件是否為垃圾郵件。在分類任務中，構造合理的分類器是順利完成一項分類任務的必要條件。
　　 現(xiàn)在構造分類器的方法很多，比較常用的有貝葉斯網(wǎng)絡、決策樹、基于實例的學習、人工神經(jīng)網(wǎng)絡、支持向量機等。很多方法在構建分類器時往往忽略了一點：概率統(tǒng)計在分類器里的應用。統(tǒng)計分析所提供的方差分析、假設檢驗、相關性分析等功能都有助于數(shù)據(jù)挖掘前期對

2、數(shù)據(jù)進行探索，發(fā)現(xiàn)數(shù)據(jù)挖掘的題目，找出數(shù)據(jù)挖掘的目標，確定數(shù)據(jù)挖掘所需涉及的變量，對數(shù)據(jù)源進行抽樣等等。這些前期工作的成功與否都會對數(shù)據(jù)挖掘的效果產(chǎn)生重大的影響，但這些方法常常會被一些數(shù)據(jù)挖掘工作者忽略。數(shù)據(jù)挖掘的結果也需要概率統(tǒng)計分析的描述功能進行具體描述，以使數(shù)據(jù)挖掘的結果更容易被用戶了解。因此，概率統(tǒng)計分析和數(shù)據(jù)挖掘是相輔相成的過程，兩者的合理配合是數(shù)據(jù)挖掘成功的重要條件。為說明以上觀點，本文通過分析Adult數(shù)據(jù)并挖掘Adult

3、數(shù)據(jù)中的信息，給出概率統(tǒng)計在構建分類器時作用。本文最主要的工作和成果包括：
　　 ●給出一種新的屬性相關系數(shù)定義。依據(jù)該定義獨立地給出一種連續(xù)屬性離散化的算法，并利用該算法離散了Adult數(shù)據(jù)的6個連續(xù)屬性，取得很滿意的結果。
　　 ●基于發(fā)散度以及新定義的相關系數(shù)，給出了一種特征子集選擇算法。通過實驗驗證了該算法的性能：使原來14維數(shù)據(jù)降到9維數(shù)據(jù)，并使樸素貝葉斯分類器的分類準確率由82.92％提高到83.60％。