混合云存儲環(huán)境下海洋大數(shù)據(jù)的布局及遷移算法研究.pdf

1、隨著信息技術(shù)的不斷更新，各種高新的數(shù)據(jù)觀測、監(jiān)測設(shè)備廣泛應(yīng)用于海洋數(shù)據(jù)的采集，包括：衛(wèi)星遙感、航空、氣象氣球，臺站，浮標(biāo)，船舶，以及水下傳感器等。全方位、立體化的海洋監(jiān)測系統(tǒng)的形成，為我國全面實(shí)現(xiàn)海洋信息化奠定了堅(jiān)實(shí)的基礎(chǔ)。由于海洋科學(xué)學(xué)科特征以及海洋數(shù)據(jù)獲取手段的多源性導(dǎo)致了海洋數(shù)據(jù)具有海量性、多樣性、實(shí)時(shí)性、空間性、敏感性、異構(gòu)性等特征，并且海洋數(shù)據(jù)量急劇增加，海洋數(shù)據(jù)無疑成為大數(shù)據(jù)的典范。海量、復(fù)雜的海洋大數(shù)據(jù)在給信息化發(fā)展帶來機(jī)

2、遇的同時(shí)，也給數(shù)據(jù)的管理帶了新的挑戰(zhàn)。而海洋大數(shù)據(jù)的高效管理是實(shí)現(xiàn)海洋信息化的基石，是制約海洋信息化發(fā)展的瓶頸問題之一，因此，如何對復(fù)雜的、海量的海洋大數(shù)據(jù)進(jìn)行高效的數(shù)據(jù)管理是目前亟需解決的問題。
　　伴隨著云計(jì)算的興起和發(fā)展，云存儲引起了業(yè)界的關(guān)注，其為大數(shù)據(jù)管理提供了新的理念和方法。云存儲分為公有云、私有云和混合云三種類型，其具有容量大、成本低、高擴(kuò)展性以及高可靠性等優(yōu)勢，為大數(shù)據(jù)的高效管理提供了有效的方法。云存儲環(huán)境由成千上

3、萬個價(jià)格相對低廉的基礎(chǔ)設(shè)施組成，為大規(guī)模的數(shù)據(jù)存儲、數(shù)據(jù)計(jì)算提供了足夠大的空間。海洋大數(shù)據(jù)具有區(qū)別于傳統(tǒng)數(shù)據(jù)的顯著特征（如海量性、多樣性、實(shí)時(shí)性、空間性、敏感性、異構(gòu)性等），并且海洋數(shù)據(jù)的特征不僅影響海洋大數(shù)據(jù)的高效管理，同時(shí)也影響著海洋大數(shù)據(jù)的應(yīng)用。故此，兼顧考慮海洋大數(shù)據(jù)的典型特征下，本文提出了適合于海洋大數(shù)據(jù)存儲的混合云存儲模式，其主要內(nèi)容如下：
　　1.文章針對研究的背景與意義首先做了綜述。其次綜述了國內(nèi)外云存儲、數(shù)據(jù)布局

4、與數(shù)據(jù)遷移的研究現(xiàn)狀，并在此基礎(chǔ)之上，分析了在大數(shù)據(jù)的管理方面尚且存在的問題。由于海洋大數(shù)據(jù)顯著的特征，在混合云存儲環(huán)境下海洋大數(shù)據(jù)的管理亟待解決的問題主要有：1）如何在混合云存儲環(huán)境中對屬性特征顯著的海洋大數(shù)據(jù)進(jìn)行合理的數(shù)據(jù)布局，減少后續(xù)數(shù)據(jù)應(yīng)用過程中數(shù)據(jù)的傳遞與遷移；2）如何判斷何時(shí)（When），哪個數(shù)據(jù)中心（Where），哪一部分（Which）數(shù)據(jù)進(jìn)行遷移；3）在保證數(shù)據(jù)安全和數(shù)據(jù)響應(yīng)速度的前提下，如何盡可能的降低數(shù)據(jù)管理的成本。

5、
　　2.對海洋大數(shù)據(jù)的顯著特征做了詳細(xì)闡述。根據(jù)海洋大數(shù)據(jù)的空間性特征以及海洋大數(shù)據(jù)應(yīng)用特點(diǎn)，即在實(shí)際的應(yīng)用過程中空間位置臨近的數(shù)據(jù)對象被同時(shí)調(diào)用的概率較高。本文利用空間相關(guān)性理論，對海洋大數(shù)據(jù)進(jìn)行相關(guān)性分析，根據(jù)數(shù)據(jù)之間的相關(guān)程度對海洋大數(shù)據(jù)進(jìn)行布局。將相關(guān)性程度高的數(shù)據(jù)存儲在同一或者臨近的數(shù)據(jù)中心上，避免或減少數(shù)據(jù)中心之間數(shù)據(jù)的傳遞，從而降低了資源和時(shí)間的消耗，提高數(shù)據(jù)存儲性能并降低了數(shù)據(jù)管理成本。
　　3.針對混合云

6、存儲環(huán)境中的關(guān)鍵問題——數(shù)據(jù)遷移，本文首先對該問題進(jìn)行了形式化的描述，并對問題中所涉及的概念給出了較為準(zhǔn)確的定義，進(jìn)而提出了混合云存儲中海洋大數(shù)據(jù)的遷移算法。在遷移算法中，將海洋數(shù)據(jù)的敏感度、數(shù)據(jù)訪問頻率，數(shù)據(jù)大小，數(shù)據(jù)時(shí)間長度等因素作為遷移因子，對影響數(shù)據(jù)遷移的因素進(jìn)行了充分的權(quán)衡。遷移算法兼顧考慮了數(shù)據(jù)存儲容量、海洋數(shù)據(jù)本身的屬性特征和數(shù)據(jù)訪問過程中的動態(tài)變化。
　　4.最后，本文通過實(shí)驗(yàn)對所提出方法的正確性與有效性進(jìn)行了驗(yàn)證