數(shù)據(jù)共享型科學(xué)云工作流的數(shù)據(jù)布局策略研究.pdf

1、科學(xué)工作流是一種基于數(shù)據(jù)驅(qū)動(dòng)的數(shù)據(jù)密集型和計(jì)算密集型工作流，能夠自動(dòng)化處理用戶的業(yè)務(wù)需求。正因?yàn)槠淠軌蚩茖W(xué)的管理、傳輸、分析、模擬并通過可視化手段來幫助科研人員進(jìn)行科學(xué)研究，科學(xué)工作流已在眾多科學(xué)研究領(lǐng)域中被廣泛使應(yīng)用，如高能物理、氣象預(yù)測(cè)、生命信息等科學(xué)領(lǐng)域。
　　伴隨著信息技術(shù)的長(zhǎng)足發(fā)展，云計(jì)算正逐漸成為下一代的信息技術(shù)平臺(tái)。云計(jì)算服務(wù)提供商可以通過互聯(lián)網(wǎng)以計(jì)費(fèi)的方式為用戶提供海量、廉價(jià)、動(dòng)態(tài)的計(jì)算、存儲(chǔ)和網(wǎng)絡(luò)資源。云計(jì)算平臺(tái)

2、所具有的高性能、可擴(kuò)展和彈性的計(jì)算模式大幅降低了研究機(jī)構(gòu)、企業(yè)和政府構(gòu)建業(yè)務(wù)系統(tǒng)所需的資金門檻和資源成本，為執(zhí)行數(shù)據(jù)密集型工作流系統(tǒng)提供了理想的運(yùn)行環(huán)境。因此，基于云計(jì)算的科學(xué)工作流管理系統(tǒng)已成為學(xué)術(shù)界和工業(yè)界研究和應(yīng)用的一個(gè)熱點(diǎn)。
　　雖然科學(xué)云工作流數(shù)據(jù)管理擁有與生俱來的優(yōu)勢(shì)，但其數(shù)據(jù)布局管理在“大數(shù)據(jù)”時(shí)代中仍面臨諸多挑戰(zhàn)。科學(xué)云工作流通常由多個(gè)不同的科研機(jī)構(gòu)、院校、企業(yè)、政府部門的研究小組、團(tuán)隊(duì)共同合作開展的，工作流內(nèi)部、

3、之間普遍存在數(shù)據(jù)共享和交互現(xiàn)象，對(duì)于“大數(shù)據(jù)”時(shí)代中海量數(shù)據(jù)所具有的隱私性、共享性、階段性，云數(shù)據(jù)中心具有的多用戶性、多任務(wù)性，云服務(wù)的動(dòng)態(tài)性和不確定性等特點(diǎn)，數(shù)據(jù)共享型工作流數(shù)據(jù)布局研究變得尤為重要。學(xué)術(shù)界已有一些研究致力于優(yōu)化數(shù)據(jù)在云數(shù)據(jù)中心中的存儲(chǔ)，但其所獲得的數(shù)據(jù)布局方案大多基于數(shù)據(jù)和任務(wù)之間的依賴關(guān)系，既沒有充分考慮到工作流中數(shù)據(jù)的不同屬性對(duì)布局的影響，又沒有對(duì)工作流之間的數(shù)據(jù)共享對(duì)數(shù)據(jù)布局的影響程度進(jìn)行細(xì)致研究。
　　

4、在已有對(duì)工作流數(shù)據(jù)布局研究基礎(chǔ)上，本文總結(jié)傳統(tǒng)數(shù)據(jù)布局策略，并命名為任務(wù)層數(shù)據(jù)布局策略;對(duì)數(shù)據(jù)共享型科學(xué)工作流的數(shù)據(jù)布局進(jìn)行深入研究，設(shè)計(jì)出一種工作流層數(shù)據(jù)布局策略。它通過優(yōu)化工作流布局框架、模型和細(xì)化工作流的數(shù)據(jù)類型，并采用基于粒子群優(yōu)化算法的兩個(gè)階段數(shù)據(jù)布局方法來優(yōu)化數(shù)據(jù)布局方案，以降低工作流執(zhí)行時(shí)的數(shù)據(jù)傳輸費(fèi)用。本文的主要工作和創(chuàng)新點(diǎn)具體如下:
　　1.針對(duì)工作流系統(tǒng)中的數(shù)據(jù)、任務(wù)和存儲(chǔ)資源，研究不同屬性數(shù)據(jù)與數(shù)據(jù)之間，數(shù)據(jù)

5、與任務(wù)之間，任務(wù)與任務(wù)之間的依賴關(guān)系，以及數(shù)據(jù)在數(shù)據(jù)中心的存儲(chǔ)情況?？茖W(xué)工作流是一種數(shù)據(jù)密集型業(yè)務(wù)流程，任務(wù)在執(zhí)行時(shí)需要大量的相關(guān)數(shù)據(jù)，因此會(huì)和數(shù)據(jù)形成一種多對(duì)多的關(guān)系。工作流中的數(shù)據(jù)可劃分成多種類型，如初始數(shù)據(jù)（或原始數(shù)據(jù)）、生成數(shù)據(jù)（或中間數(shù)據(jù)）、隱私數(shù)據(jù)、共享數(shù)據(jù)、固定數(shù)據(jù)等等。由于工作流業(yè)務(wù)流程的靈活多變，導(dǎo)致其數(shù)據(jù)和任務(wù)之間的關(guān)系十分復(fù)雜，并且出于安全等因素考慮，這些相關(guān)數(shù)據(jù)和任務(wù)往往被存儲(chǔ)于多個(gè)云數(shù)據(jù)中心。因此本文會(huì)系統(tǒng)的分

6、析、歸納數(shù)據(jù)類型，理清數(shù)據(jù)和任務(wù)的依賴關(guān)系，方便對(duì)后續(xù)工作流布局框架和數(shù)據(jù)布局模型的整合與優(yōu)化。
　　2.結(jié)合已有數(shù)據(jù)布局研究，總結(jié)出傳統(tǒng)的任務(wù)層(Task-Level)數(shù)據(jù)布局模型，給出相關(guān)定義和數(shù)據(jù)傳輸計(jì)費(fèi)模型。已有的一些云工作流數(shù)據(jù)布局模型過于抽象，且主要研究科學(xué)云工作流在執(zhí)行過程中的數(shù)據(jù)傳輸次數(shù)、數(shù)據(jù)傳輸量和數(shù)據(jù)傳輸時(shí)間。雖然這些參數(shù)能夠表征數(shù)據(jù)布局方法的性能優(yōu)劣，但用戶最關(guān)心的是工作流在云平臺(tái)中運(yùn)行所產(chǎn)生的花費(fèi)。本文根據(jù)

7、工作流的不同數(shù)據(jù)類型，系統(tǒng)的建模云工作流，分析工作流內(nèi)部的數(shù)據(jù)共享現(xiàn)象，并從用戶角度出發(fā)，通過建模工作流數(shù)據(jù)傳輸費(fèi)用模型來獲得工作流執(zhí)行時(shí)的數(shù)據(jù)傳輸費(fèi)用，衡量布局方法性能優(yōu)劣。
　　3.針對(duì)任務(wù)層數(shù)據(jù)布局模型不足，提出一種工作流層(Workflow-Level)數(shù)據(jù)布局框架、傳輸計(jì)費(fèi)模型來優(yōu)化布局方案，降低數(shù)據(jù)傳輸費(fèi)用?？茖W(xué)云工作流是一種多用戶協(xié)作的業(yè)務(wù)流程，其任務(wù)在執(zhí)行過程中往往需要多個(gè)不同的科研機(jī)構(gòu)、院校、企業(yè)甚至政府部門之間

8、的分工協(xié)作。不僅工作流內(nèi)部之間存在數(shù)據(jù)共享，多個(gè)工作流之間也存在數(shù)據(jù)共享現(xiàn)象，如相同數(shù)據(jù)會(huì)被用于不同的研究方向，導(dǎo)致不同工作流間存在數(shù)據(jù)共享現(xiàn)象。任務(wù)層數(shù)據(jù)布局模型孤立的布局每個(gè)工作流，并沒有考慮工作流之間的共享數(shù)據(jù)集，且數(shù)據(jù)布局的靈活性低，導(dǎo)致工作流總體數(shù)據(jù)開銷大。為此，本項(xiàng)目從共享數(shù)據(jù)出發(fā)，通過分析、整合工作流布局框架，研究基于數(shù)據(jù)依賴的共享型工作流框架，將存在數(shù)據(jù)共享的多個(gè)工作流整合成一個(gè)工作流，從工作流層研究數(shù)據(jù)布局計(jì)費(fèi)模型，優(yōu)

9、化數(shù)據(jù)布局方案，降低傳輸費(fèi)用。
　　4.結(jié)合云工作流的生命周期和數(shù)據(jù)的不同屬性，為數(shù)據(jù)共享型科學(xué)云工作流設(shè)計(jì)出一種兩個(gè)階段的數(shù)據(jù)布局方法，該布局方法通過調(diào)用離散型粒子群優(yōu)化數(shù)據(jù)布局算法(Discrete Particle Swarm Optimization Data Placement Algorithm，DPSO-DPA)，對(duì)不同階段、不同屬性的數(shù)據(jù)進(jìn)行布局優(yōu)化。云工作流的數(shù)據(jù)布局是一個(gè)NP難問題，目前有兩大類布局方法用于求解

10、數(shù)據(jù)布局:聚類方法和智能方法，且主要研究工作流在執(zhí)行過程中的數(shù)據(jù)傳輸次數(shù)、傳輸時(shí)間和傳輸費(fèi)用。聚類方法通?；跀?shù)據(jù)中心的負(fù)載均衡，利用數(shù)據(jù)之間的依賴關(guān)系，將數(shù)據(jù)劃分成幾個(gè)獨(dú)立的數(shù)據(jù)塊，然后將這些數(shù)據(jù)塊布局到數(shù)據(jù)中心。在實(shí)際的云環(huán)境中，云數(shù)據(jù)中心的容量近乎無限，根本不需要考慮數(shù)據(jù)存儲(chǔ)會(huì)導(dǎo)致云數(shù)據(jù)中心過載。智能方法則能夠根據(jù)云工作流和用戶的具體需求，提供適應(yīng)性強(qiáng)的數(shù)據(jù)布局方案。粒子群優(yōu)化方法屬于智能方法，因其具有參數(shù)少、計(jì)算成本低、收斂快、

11、求解效率高等特點(diǎn)被廣泛應(yīng)用于函數(shù)優(yōu)化、任務(wù)調(diào)度、數(shù)據(jù)布局等領(lǐng)域。工作流層數(shù)據(jù)布局策略包括兩個(gè)階段，構(gòu)建階段(Build-Time)和運(yùn)行階段(Runtime)。在工作流構(gòu)建階段布局初始數(shù)據(jù)，并調(diào)用本文設(shè)計(jì)的DPSO-DPA算法獲得初始靈活數(shù)據(jù)的布局方案;在運(yùn)行階段調(diào)用DPSO-DPA算法獲得生成靈活數(shù)據(jù)的布局方案。通過整合兩個(gè)階段，獲得整個(gè)工作流的最終數(shù)據(jù)布局方案。
　　本文總結(jié)了傳統(tǒng)任務(wù)層數(shù)據(jù)布局策略，分析工作流的數(shù)據(jù)共享現(xiàn)象，