基于粗糙集的大數(shù)據(jù)集挖掘算法研究與實(shí)現(xiàn).pdf

1、隨著計(jì)算機(jī)技術(shù)、傳感器技術(shù)和Internet的快速發(fā)展，產(chǎn)生了很多有效的工具用于生成、傳播、存儲(chǔ)和檢索數(shù)據(jù)。因此，隨著我們獲取數(shù)據(jù)的速度和規(guī)模的不斷增長，各種形式的數(shù)掘流被記錄在各種類型的存儲(chǔ)介質(zhì)中。數(shù)據(jù)在實(shí)例數(shù)量、屈性數(shù)量和分類數(shù)量等方面都出現(xiàn)激增，高維大數(shù)據(jù)集隨之出現(xiàn)。大數(shù)掘集的出現(xiàn)給包括決策樹分類挖掘算法在內(nèi)的許多機(jī)器學(xué)習(xí)算法在健壯性和可伸縮性等方面帶來了巨大的挑戰(zhàn)。
　　 本文首先闡述了課題的研究背景和意義，然后綜述了決

2、策樹分類和粗糙集的相關(guān)原理和理論。本文在訓(xùn)練集準(zhǔn)備與決策樹分類模型構(gòu)造兩個(gè)階段引入粗糙集理論，從縮減大數(shù)據(jù)集規(guī)模和改良決策樹節(jié)點(diǎn)屬性選擇測度入手，圍繞粗糙集理論與大數(shù)據(jù)集規(guī)模的縮減和決策樹分類模型構(gòu)造優(yōu)化的交義融合進(jìn)行了深入研究和積極創(chuàng)新，主要內(nèi)容和創(chuàng)新包括：
　　 1.針對已有數(shù)掘集規(guī)模壓縮算法的計(jì)算復(fù)雜和對實(shí)例規(guī)模刪減的關(guān)注不足等缺點(diǎn)，給出一種大數(shù)據(jù)集空間分割算法，主要考慮從空間上對數(shù)據(jù)集進(jìn)行分割，所以引入聚類思想將信息熵的

3、大小作為屬性純度的度量標(biāo)準(zhǔn)來分割數(shù)掘集，優(yōu)先選擇具有最小熵值的屬性，熵值越小，分割后的子集越純凈，即子集劃分內(nèi)的相似性(同質(zhì)性)越大。
　　 2.一般來說，分割后一部分信息會(huì)丟失，因此如何使重要的信息保留下來就成為需要主要考慮的問題之一。給出一種大數(shù)據(jù)集約簡算法，利用歐式距離度量找出每個(gè)子集劃分的中心實(shí)例，它是對挖掘任務(wù)來說最重要的信息，然后利用K-近鄰算法查找中心實(shí)例的k個(gè)最近鄰實(shí)例并且與中心實(shí)例共同組成代表性實(shí)例，進(jìn)而形成優(yōu)

4、化的訓(xùn)練集約簡集。另外，給出算法的復(fù)雜度分析和信息論基礎(chǔ)分析，證明算法計(jì)算時(shí)間復(fù)雜度遠(yuǎn)遠(yuǎn)小于經(jīng)典粗糙集約簡算法，可以在短時(shí)間內(nèi)找到原始大數(shù)據(jù)集的一個(gè)近似最優(yōu)約簡集。
　　 3.給出一種基于粗糙集理論的節(jié)點(diǎn)屬性選擇新測度——屬性分類價(jià)值量，并結(jié)合已取得的大數(shù)據(jù)集約簡算法的研究成果給出新的決策樹模型構(gòu)造算法ACVS。該算法將分類相同但條件屬性值不同的情況作為補(bǔ)償因子可分辨矩陣，并提出屬性分類價(jià)值量度量函數(shù)，它更能全面表征屬性對分類的