數(shù)據(jù)遷移云服務(wù)的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、大數(shù)據(jù)時(shí)代的到來(lái)，傳統(tǒng)的數(shù)據(jù)存儲(chǔ)和處理手段已經(jīng)難以滿足日益增長(zhǎng)的需求，越來(lái)越多的數(shù)據(jù)需要遷移到hadoop計(jì)算平臺(tái)進(jìn)行存儲(chǔ)和處理。數(shù)據(jù)遷移作為數(shù)據(jù)科學(xué)領(lǐng)域的重要研究方向和技術(shù)，也受到學(xué)術(shù)界、工業(yè)界更多研究人員的關(guān)注、研究。已有的數(shù)據(jù)遷移工具往往具有著單機(jī)性能低下、安裝配置繁瑣、不支持流式數(shù)據(jù)遷移等缺點(diǎn)。本文針對(duì)現(xiàn)有工具的缺點(diǎn)，結(jié)合已有研究成果，設(shè)計(jì)出了針對(duì)hadoop集群的數(shù)據(jù)遷移云服務(wù)。
　　本研究主要內(nèi)容包括：⑴設(shè)計(jì)并優(yōu)化了基

2、于數(shù)據(jù)庫(kù)日志的流式數(shù)據(jù)提取、遷移技術(shù)。通過(guò)對(duì)數(shù)據(jù)庫(kù)日志進(jìn)行解析，提取增量數(shù)據(jù)，并將這些數(shù)據(jù)直接封裝為消息發(fā)往hadoop集群。大大降低流式數(shù)據(jù)提取的IO、網(wǎng)絡(luò)等開(kāi)銷。⑵將因子分析數(shù)學(xué)思想應(yīng)用于負(fù)載均衡負(fù)載狀態(tài)評(píng)估，將響應(yīng)時(shí)間納入負(fù)載均衡參數(shù)指標(biāo)。該算法相對(duì)于傳統(tǒng)的負(fù)載均衡算法，能夠更有效地評(píng)估節(jié)點(diǎn)當(dāng)前負(fù)載情況，更大地利用好集群資源。大大提高了數(shù)據(jù)遷移系統(tǒng)的吞吐量和集群計(jì)算能力。⑶將數(shù)據(jù)遷移系統(tǒng)上升到云計(jì)算的高度。針對(duì)業(yè)內(nèi)已有遷移工具配置