數(shù)據(jù)遷移云服務(wù)的設(shè)計與實現(xiàn).pdf

1、大數(shù)據(jù)時代的到來，傳統(tǒng)的數(shù)據(jù)存儲和處理手段已經(jīng)難以滿足日益增長的需求，越來越多的數(shù)據(jù)需要遷移到hadoop計算平臺進(jìn)行存儲和處理。數(shù)據(jù)遷移作為數(shù)據(jù)科學(xué)領(lǐng)域的重要研究方向和技術(shù)，也受到學(xué)術(shù)界、工業(yè)界更多研究人員的關(guān)注、研究。已有的數(shù)據(jù)遷移工具往往具有著單機(jī)性能低下、安裝配置繁瑣、不支持流式數(shù)據(jù)遷移等缺點。本文針對現(xiàn)有工具的缺點，結(jié)合已有研究成果，設(shè)計出了針對hadoop集群的數(shù)據(jù)遷移云服務(wù)。
　　本研究主要內(nèi)容包括：⑴設(shè)計并優(yōu)化了基

2、于數(shù)據(jù)庫日志的流式數(shù)據(jù)提取、遷移技術(shù)。通過對數(shù)據(jù)庫日志進(jìn)行解析，提取增量數(shù)據(jù)，并將這些數(shù)據(jù)直接封裝為消息發(fā)往hadoop集群。大大降低流式數(shù)據(jù)提取的IO、網(wǎng)絡(luò)等開銷。⑵將因子分析數(shù)學(xué)思想應(yīng)用于負(fù)載均衡負(fù)載狀態(tài)評估，將響應(yīng)時間納入負(fù)載均衡參數(shù)指標(biāo)。該算法相對于傳統(tǒng)的負(fù)載均衡算法，能夠更有效地評估節(jié)點當(dāng)前負(fù)載情況，更大地利用好集群資源。大大提高了數(shù)據(jù)遷移系統(tǒng)的吞吐量和集群計算能力。⑶將數(shù)據(jù)遷移系統(tǒng)上升到云計算的高度。針對業(yè)內(nèi)已有遷移工具配置