MapReduce框架下模糊粗糙集屬性約簡算法研究.pdf

1、近年來隨著互聯(lián)網(wǎng)的高速發(fā)展，需要處理的數(shù)據(jù)量急劇增加，從而如何從海量數(shù)據(jù)中獲取知識成為了人們關(guān)注的熱點(diǎn)，知識發(fā)現(xiàn)成為了重要的研究課題。屬性約簡（特征選擇）是有效地獲取知識摒除干擾因素的重要方法之一。在一個(gè)數(shù)據(jù)集（知識庫）中，有著眾多不同的屬性，但并不是每個(gè)屬性都有著相同的重要性。有些屬性對于人們決策可能重要一些，有些屬性可能不那么重要，有些屬性還有可能是冗余的、不必要的。由于這些冗余信息的存在，使得人們在獲得知識時(shí)會花費(fèi)掉更多的時(shí)間和空

2、間用于處理這些無關(guān)信息。屬性約簡的目的是從數(shù)據(jù)集中去除這些無關(guān)信息，解決數(shù)據(jù)處理中的過擬合、維數(shù)災(zāi)難等問題。屬性約簡是粗糙集理論的重要應(yīng)用之一，得到了學(xué)者們的廣泛關(guān)注和研究。但是經(jīng)典粗糙集模型無法直接對數(shù)值型數(shù)據(jù)進(jìn)行處理，需要預(yù)先對數(shù)值數(shù)據(jù)進(jìn)行離散化處理，從而可能造成信息損失，影響知識的獲取。在模糊粗糙集模型下，可以直接處理數(shù)值型數(shù)據(jù)。針對基于屬性依賴度的屬性約簡算法中存在的一些缺陷，本文將粒子群算法與模糊粗糙集相結(jié)合，并從大數(shù)據(jù)的角度

3、出發(fā)，利用MapReduce框架，進(jìn)行模糊粗糙集和穩(wěn)健模糊粗糙集并行屬性約簡的相關(guān)研究。本論文的主要研究工作如下:
　　1.將高斯核模糊粗糙集與粒子群算法相結(jié)合，構(gòu)建了基于粒子群算法的高斯核模糊粗糙集屬性約簡算法。由于高斯核模糊粗糙集的特性，在基于屬性依賴度的啟發(fā)式屬性約簡算法中，可能無法獲取最佳屬性組合，甚至無法獲得約簡。因而本文通過將粒子群算法與之結(jié)合，克服了該種缺陷，并利用高斯核模糊粗糙集的特性，在不同的核參數(shù)選擇下，可得出

4、不同的屬性約簡以滿足分類的要求。采用UCI公用數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果表明了該算法具有良好的約簡性能。（第3章）
　　2.基于高斯核模糊粗糙集模型，分析了并行計(jì)算模糊粗糙集近似集和屬性依賴度的原理，給出了基于MapReduce框架的高斯核模糊粗糙集下近似集和屬性依賴度并行計(jì)算算法，進(jìn)而給出了基于粒子群算法的高斯核模糊粗糙集屬性約簡并行計(jì)算算法。該算法利用MapReduce的特性，直接在Map過程中求得不同分片中對象在該分片中與不同

5、決策類對象的最小距離，而不必對兩兩對象間的關(guān)系都進(jìn)行輸出，從而減少了HDFS的訪問。使得在大數(shù)據(jù)上計(jì)算模糊粗糙集下近似集以及屬性依賴度可行。在UCI公用數(shù)據(jù)集和人工生成的數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果表明了在大數(shù)據(jù)環(huán)境下本算法具有良好的并行性能和約簡性能。（第4章）
　　3.在穩(wěn)健模糊粗糙集模型上，利用MapReduce框架，實(shí)現(xiàn)了高斯核穩(wěn)健模糊粗糙集并行屬性約簡算法。在該算法中，首先計(jì)算數(shù)據(jù)分片中每一個(gè)對象與它的k個(gè)鄰近的不同決策類

6、對象的距離，從而求取整個(gè)數(shù)據(jù)集下每一個(gè)對象的k個(gè)鄰近點(diǎn)，再利用RNN算子求取對象的下近似，進(jìn)而計(jì)算所有候選約簡的屬性依賴度以獲取屬性約簡。以上策略使該算法儲存空間需求較少，且能減少因多次迭代Hadoop平臺中資源調(diào)度產(chǎn)生的時(shí)間開銷。在UCI公用數(shù)據(jù)集上對該算法進(jìn)行了實(shí)驗(yàn)，分析了使用不同參數(shù)的RNN算子時(shí)的約簡性能和并行性能。實(shí)驗(yàn)結(jié)果表明該算法能夠?qū)Υ髷?shù)據(jù)進(jìn)行約簡，克服了傳統(tǒng)模型無法獲取約簡的情況。該算法不僅能夠有效地處理噪聲數(shù)據(jù)，而且具