基于MapReduce和遺傳算法的粗糙集屬性約簡研究.pdf

1、隨著互聯(lián)網(wǎng)時代的蓬勃發(fā)展，以及物聯(lián)網(wǎng)、云計算等新興技術的涌現(xiàn)，大數(shù)據(jù)時代已經(jīng)到來。如何有效地從大數(shù)據(jù)中挖掘知識，釋放數(shù)據(jù)中隱含的巨大經(jīng)濟價值、科研價值和社會價值，成為當今學術界和產(chǎn)業(yè)界研究的重大課題。粗糙集理論是由波蘭數(shù)學家Pawlak Z.提出的一種數(shù)據(jù)推理方法，這個理論工具在研究不精確知識表達、不完整數(shù)據(jù)、學習、歸納等方面非常強大，尤其在知識分類和知識發(fā)現(xiàn)方面的數(shù)據(jù)挖掘具有強大的能力。屬性約簡是粗糙集理論的一個核心問題之一，國內(nèi)外學

2、者在這方面都有大量研究，提出了不少算法，其中大多數(shù)是啟發(fā)式屬性約簡算法。它是以屬性重要度作為一個指引來對屬性進行選擇或刪減，但這種算法并不能正確求解某些信息系統(tǒng)，有學者提出了遺傳約簡算法，這種生物智能算法能有效解決啟發(fā)式算法無法覆蓋的部分信息系統(tǒng)。但遺傳約簡算法由于遺傳算法本身具有的未成熟局部收斂這一缺陷，而導致遺傳約簡算法可能出現(xiàn)未成熟局部收斂，所獲得的并非最小約簡。
　　針對以上這些問題，本論文研究提出了并行化遺傳約簡算法。將

3、多種群并行化于簡單而強大的分布式并行處理系統(tǒng)MapReduce編程架構，既能保留生物智能算法的優(yōu)勢，解決傳統(tǒng)算法所不能覆蓋的系統(tǒng)，又能解決遺傳算法未成熟局部收斂這一問題。本論文主要的研究工作如下:
　　在學習和研究了粗糙集、遺傳算法的理論概念、設計思想、算法步驟和工作原理等相關知識后。又系統(tǒng)學習了一種智能化的粗糙集屬性約簡算法:遺傳約簡算法。在這些經(jīng)典理論和算法模型的基礎上，又引入了新興的MapReduce理論及它的實現(xiàn)平臺Had

4、oop，提出了基于MapReduce的遺傳算法解決粗糙集屬性約簡方案，簡稱并行化遺傳約簡算法。它的主要思想是，在遺傳約簡算法的基礎上，進行多種群并行化遺傳。傳統(tǒng)遺傳約簡算法是單一種群的進化遺傳以尋求最優(yōu)個體，這可能會出現(xiàn)未成熟局部收斂現(xiàn)象。若能多種群同時相對獨立進化，從概率統(tǒng)計上而言，最終結果就不會出現(xiàn)未成熟局部收斂的結果。而且由于是并行化多種群進化，所以在時效上不會太差?；谶@樣的想法，本論文設計了并行化遺傳約簡算法的實驗，并在論文中