基于粗糙集的數(shù)據(jù)挖掘算法研究.pdf

1、隨著數(shù)據(jù)庫技術(shù)的廣泛應(yīng)用，數(shù)據(jù)庫中存儲(chǔ)的數(shù)據(jù)量急劇增大，為幫助人們更好地利用這些數(shù)據(jù)進(jìn)行決策和研究，提出了知識(shí)發(fā)現(xiàn)和數(shù)據(jù)挖掘的概念。數(shù)據(jù)挖掘是知識(shí)發(fā)現(xiàn)中最關(guān)鍵的步驟，也是知識(shí)發(fā)現(xiàn)技術(shù)難點(diǎn)，是目前相當(dāng)活躍的研究領(lǐng)域。粗糙集理論是波蘭數(shù)學(xué)家Pawlak Z.提出的一種分析模糊和不確定知識(shí)的強(qiáng)有力的數(shù)學(xué)工具，能有效地分析和處理不精確、不一致、不完整等各種不完備信息，并從中發(fā)現(xiàn)隱含的知識(shí)，揭示潛在的規(guī)律。這個(gè)特點(diǎn)使得粗糙集理論非常適用于數(shù)據(jù)挖掘

2、。近年來其有效性已在許多科學(xué)與工程領(lǐng)域的成功應(yīng)用中得到證實(shí)。
　　 決策樹是分類應(yīng)用中采用最廣泛的分類器之一。單變量決策樹局限于在每個(gè)結(jié)點(diǎn)上只檢驗(yàn)單個(gè)屬性，存在以下問題：忽視了屬性間的關(guān)聯(lián)性；決策樹中某些子樹重復(fù)出現(xiàn)；有些屬性在決策樹的某條路徑上被多次檢測(cè)等。為了克服這一缺陷，人們提出了多變量決策樹的歸納學(xué)習(xí)方法，即在決策樹的某一結(jié)點(diǎn)上同時(shí)檢驗(yàn)多個(gè)屬性，該方法產(chǎn)生新的、更相關(guān)的屬性，以及修改或去掉不相關(guān)的屬性。多變量決策樹的關(guān)鍵

3、問題是節(jié)點(diǎn)屬性的選擇標(biāo)準(zhǔn)和檢驗(yàn)標(biāo)準(zhǔn)，對(duì)大規(guī)模數(shù)據(jù)的預(yù)處理也是構(gòu)建多變量決策樹的關(guān)鍵技術(shù)。
　　 本文以多變量決策樹為研究對(duì)象，主要工作和創(chuàng)新點(diǎn)如下：
　　 1.提出了屬性重要性相似度的概念，將屬性的重要性作為權(quán)重，融入到傳統(tǒng)的求解相似度的公式中，該方法克服了傳統(tǒng)求解相似度時(shí)只考慮距離的量的變化問題以及沒有把屬性的重要性這一本質(zhì)的因素考慮進(jìn)去的不足，且計(jì)算簡單，符合實(shí)際情況。
　　 2.為了使數(shù)據(jù)挖掘更有效，需要對(duì)

4、數(shù)據(jù)進(jìn)行預(yù)處理。首先，應(yīng)用經(jīng)典的分明矩陣簡化算法進(jìn)行屬性約簡，從而達(dá)到降維的效果。然后，根據(jù)屬性重要性相似度的公式求解同類數(shù)據(jù)對(duì)象的相似度，相似度大于某一閾值的對(duì)象劃分為一組，同組的數(shù)據(jù)對(duì)象滿足兩兩之間的相似度皆大于閾值，從不同組各抽取一個(gè)數(shù)據(jù)對(duì)象，組成新的數(shù)據(jù)樣本，以減少冗余數(shù)據(jù)對(duì)象。
　　 3.提出了基于屬性集重要性的節(jié)點(diǎn)選擇標(biāo)準(zhǔn)，并規(guī)定節(jié)點(diǎn)的屬性個(gè)數(shù)最多為兩個(gè)，在選擇測(cè)試屬性生成決策樹時(shí)，克服了傳統(tǒng)決策樹算法選擇測(cè)試屬性時(shí)