基于spark的并行遺傳算法研究

1、基于基于SPark的并行遺傳算法研究的并行遺傳算法研究遺傳算法是一種模擬生物進化的隨機學習方法，主要包括選擇、交叉和變異三種遺傳操作。面對大規(guī)模復雜優(yōu)化問題時，遺傳算法的尋優(yōu)時間長，所以有人提出了并行遺傳算法，主要將遺傳算法的天然并行性跟并行編程模型相結(jié)合，加快搜索優(yōu)化過程。近年來，機器學習領域的眾多專家做了許多加快并行遺傳算法尋優(yōu)速度的研究和探索。郭肇祿在并行遺傳算法中提出了自適應遷移策略，降低了通信開銷。李建明等人實現(xiàn)了一種基于GP

2、U的細粒度并行遺傳算法，抑制了種群的早熟，提高了搜索效率。VermaA等人則從數(shù)據(jù)處理規(guī)模的角度實現(xiàn)了MapReduce跟遺傳算法的結(jié)合。這些基于GPU或者MapReduce實現(xiàn)的并行遺傳算法，雖然取得了一定的進展，但是GPU可擴展能力欠佳，MapReduce的迭代速度較慢，這些缺陷都制約了并行遺傳算法對大規(guī)模復雜優(yōu)化問題的快速求解。近期快速發(fā)展的Spark并行計算引擎能夠提供內(nèi)存計算機制，被普遍認為是下一代大數(shù)據(jù)并行處理框架，但是基于

3、Spark計算模型實現(xiàn)并行遺傳算法需要嘗試不同的Spark算子和參數(shù)來對比分析其性能。本文深入分析了遺傳算法和Spark并行編程模型，實現(xiàn)了一種適合Spark框架的粗粒度并行遺傳算法。具體的工作有：①對Spark的部分算子和參數(shù)通過大量實驗進行對比分析，優(yōu)化了算法性能。②結(jié)合遺傳算法跟Spark計算平臺實現(xiàn)了一種高性能的并行遺傳算的，但是SPGA算法會將整個種群劃分為若干個亞種群，而后在集群所擁有的處理器上獨立進行計算，這可以縮短運行時

4、間，發(fā)揮并行算法速度優(yōu)勢。遷移策略是并行遺傳算法跟串行遺傳算法的重要不同之處，這里在亞種群之間采用隨機遷移策略，能夠解決遺傳算法的局部最優(yōu)問題。2.2SPGA算法優(yōu)化設計mapPartitions和map是RDD上的兩個并行操作算子，mapPartitions的功能是作用一個函數(shù)到RDD的每一個分片（partition）上，map則是對RDD的每個元素應用一個函數(shù)，兩者運算后都返回一個新的RDD。由于遺傳算法的適應度計算及變異過程是一種

5、粗粒度操作，種群中的個體單獨計算互不干擾，所以很容易想到使用map算子。然而在考慮性能時我們發(fā)現(xiàn)，map算子需要為所有的個體都初始化一個測試函數(shù)，在大規(guī)模種群時產(chǎn)生了大量不必要的內(nèi)存和計算開銷。為了避免這種冗余開銷，我們考慮使用mapPartitions算子代替map算子，因為mapPartitios算子是以RDD的partition作為處理函數(shù)的輸入，也就是把partition作為整體來處理，只需要在每個partition開始計算時初