基于區(qū)分矩陣的粗糙集屬性約簡(jiǎn)算法在數(shù)據(jù)挖掘中的應(yīng)用研究.pdf

1、隨著信息時(shí)代的來(lái)臨，人類在各種領(lǐng)域中面臨著越來(lái)越多的數(shù)據(jù)信息。與此同時(shí)，這些數(shù)據(jù)還在以驚人的速度不斷增長(zhǎng)。因此，為了提高工作效率和生活質(zhì)量，人們必須獲取蘊(yùn)藏在其中的有價(jià)值的信息。為了達(dá)到這個(gè)目的，人們開始致力于從數(shù)據(jù)庫(kù)中發(fā)現(xiàn)知識(shí)的研究。然而，眾所周知，數(shù)據(jù)庫(kù)中往往存在冗余數(shù)據(jù)(Redundant data)、缺失數(shù)據(jù)(Missing data)、不確定的數(shù)據(jù)(Incertain data)和不一致的數(shù)據(jù)(Inconsistent dat

2、a)等諸多情況，這些數(shù)據(jù)成了發(fā)現(xiàn)知識(shí)的一大障礙。因此，在從數(shù)據(jù)庫(kù)中發(fā)現(xiàn)知識(shí)之前必須對(duì)數(shù)據(jù)進(jìn)行預(yù)處理。本論文著重研究數(shù)據(jù)挖掘中的數(shù)據(jù)的預(yù)處理，尤其是屬性約簡(jiǎn)。 粗糙集(Rough sets)理論是由Z．Pawlak教授于20世紀(jì)80年代初提出的一種用于處理不確定性和含糊性屬性的數(shù)學(xué)工具。它的基本思想是在保持分類能力不變的前提下，通過(guò)屬性約簡(jiǎn)，導(dǎo)出概念的分類規(guī)則，它無(wú)需提供相關(guān)數(shù)據(jù)集合以外的任何先驗(yàn)信息，適合發(fā)現(xiàn)數(shù)據(jù)庫(kù)中隱含的、潛

3、在有用的規(guī)律，即屬性，找出其內(nèi)部數(shù)據(jù)的關(guān)聯(lián)關(guān)系和特征。近年來(lái)，粗糙集理論和應(yīng)用取得了很大的成就，已成為軟計(jì)算方法的重要分支，其涉及的領(lǐng)域包括模式識(shí)別、機(jī)器學(xué)習(xí)、決策分析和決策支持、屬性獲取、屬性發(fā)現(xiàn)等。 本文主要研究基于區(qū)分矩陣的粗糙集屬性約簡(jiǎn)算法在數(shù)據(jù)挖掘中的應(yīng)用。首先，闡述了數(shù)據(jù)挖掘與粗糙集理論的基本知識(shí)，在分析和總結(jié)基于粗糙集理論的數(shù)據(jù)挖掘算法的基礎(chǔ)上，針對(duì)HORAFA算法進(jìn)行了詳細(xì)的分析。HORAFA算法是基于區(qū)分矩陣

4、的啟發(fā)式屬性約簡(jiǎn)算法，為了改善該算法的完備性、提高它的屬性約簡(jiǎn)效率和減少算法運(yùn)行時(shí)間，因此，本文對(duì)HORAFA算法進(jìn)行了改進(jìn)，提出了基于區(qū)分矩陣的HORAFA-AFVDM(HORAFA base onAttribute frequency value of discernibility matrix)算法。該算法以核為基礎(chǔ)，加入屬性重要性最大的屬性，計(jì)算屬性頻率函數(shù)，即等于區(qū)分矩陣中刪除當(dāng)前屬性所在的元素之后，屬性出現(xiàn)的頻率。具體表示為

5、：f(a)=f(a)+|A|/|c’|，對(duì)于每個(gè)a∈c，其中|A|是信息系統(tǒng)總的條件屬性個(gè)數(shù)， |c’|為區(qū)分函數(shù)項(xiàng)中刪除加入到核中的屬性之后還剩的屬性個(gè)數(shù)。為了能夠找到信息系統(tǒng)的最優(yōu)約簡(jiǎn)，在此基礎(chǔ)上增加一個(gè)反向消除過(guò)程，從已得到的核中刪除可以刪除的屬性，直到不能再刪為止，從而保證算法的完備性。文中通過(guò)一個(gè)實(shí)例完整說(shuō)明了本方法。其后，對(duì)算法進(jìn)行具體的實(shí)現(xiàn)。為了在MATLAB環(huán)境下完成實(shí)驗(yàn)，對(duì)屬性進(jìn)行約簡(jiǎn)之前，首先要對(duì)被約簡(jiǎn)的數(shù)據(jù)集進(jìn)行數(shù)