負(fù)載均衡的離線數(shù)據(jù)遷移算法的研究與實(shí)現(xiàn).pdf

1、近年來，隨著云計(jì)算、物聯(lián)網(wǎng)以及社交網(wǎng)絡(luò)等的發(fā)展，人類擁有的數(shù)據(jù)正在以前所未有的速度增長和累積，大數(shù)據(jù)時(shí)代悄然而至。在大數(shù)據(jù)時(shí)代，能否更有效地利用數(shù)據(jù)、更高效地從數(shù)據(jù)中分析出知識(shí)在很大程度上決定了企業(yè)的競(jìng)爭(zhēng)能力。尤其是在搜索業(yè)務(wù)，從海量數(shù)據(jù)中挖掘出的規(guī)律極具價(jià)值:它可以影響用戶搜索滿意度，提高流量轉(zhuǎn)化率，甚至指導(dǎo)業(yè)務(wù)發(fā)展方向。在數(shù)據(jù)可挖掘價(jià)值不斷提高的背景下，離線數(shù)據(jù)業(yè)務(wù)在面臨前所未有的挑戰(zhàn)。以數(shù)據(jù)為中心的業(yè)務(wù)，不可避免的海量數(shù)據(jù)遷移成為

2、了離線業(yè)務(wù)處理的一個(gè)基礎(chǔ)環(huán)節(jié):能否高效、穩(wěn)定地將數(shù)據(jù)源的海量數(shù)據(jù)遷移到目標(biāo)存儲(chǔ)系統(tǒng)，很大程度上決定了離線業(yè)務(wù)質(zhì)量。設(shè)計(jì)并實(shí)現(xiàn)一個(gè)高效可擴(kuò)展的數(shù)據(jù)遷移系統(tǒng)是很有必要的。
　　本課題研究負(fù)載均衡的離線數(shù)據(jù)遷移方法，首先通過分析提出數(shù)據(jù)遷移模型，分析遷移性能的影響因素，并基于該分析提出遷移的優(yōu)化目標(biāo)。接著，給出數(shù)據(jù)遷移的系統(tǒng)設(shè)計(jì)，并圍繞遷移優(yōu)化目標(biāo)從兩個(gè)方面展開優(yōu)化研究:從數(shù)據(jù)源層進(jìn)行優(yōu)化，提出LBS(Load Balancing Sh

3、arding)方法將數(shù)據(jù)源改造成分布式數(shù)據(jù)源，從而確保數(shù)據(jù)的均衡分布，并滿足系統(tǒng)的可擴(kuò)展性需求;從作業(yè)調(diào)度層進(jìn)行優(yōu)化，提出Astraea算法合理調(diào)度遷移作業(yè)，從作業(yè)的角度規(guī)避數(shù)據(jù)源熱點(diǎn)，從而提高遷移效率。最后，通過大量實(shí)驗(yàn)驗(yàn)證了LBS算法和Astraea方法的有效性。
　　實(shí)驗(yàn)結(jié)果表明，數(shù)據(jù)源層的優(yōu)化方法LBS將數(shù)據(jù)源析散成可擴(kuò)展的分布式數(shù)據(jù)源，為數(shù)據(jù)遷移的高度并發(fā)提供了基礎(chǔ)，同時(shí)保證數(shù)據(jù)源的負(fù)載均衡;作業(yè)調(diào)度層的優(yōu)化方法Astr