一種異構(gòu)感知的糾刪碼歸檔方法研究.pdf

1、相對于多副本存儲，糾刪碼在保證數(shù)據(jù)可用性的同時具有存儲效率高、可擴展性好的優(yōu)點。因此，如何將糾刪碼應(yīng)用在多副本集群中成為熱門的研究方向。當(dāng)副本集群為了提升存儲效率，提出冷數(shù)據(jù)編碼請求時，會有如下問題：（1）7*24小時在線的集群無法為數(shù)據(jù)編碼請求提供離線的環(huán)境，編碼過程中的數(shù)據(jù)讀取以及網(wǎng)絡(luò)傳輸和用戶數(shù)據(jù)訪問之間會存在磁盤和網(wǎng)絡(luò)資源的競爭;（2）當(dāng)冷數(shù)據(jù)在集群中分布不均勻時，僅考慮數(shù)據(jù)局部性的編碼方式會導(dǎo)致大量數(shù)據(jù)塊在相同節(jié)點上編碼，最慢

2、的節(jié)點成為了編碼過程的瓶頸；（3）節(jié)點硬件的異構(gòu)和用戶I/O導(dǎo)致集群中節(jié)點可用資源的差異，僅考慮數(shù)據(jù)局部性的調(diào)度方式無法解決編碼過程中負載不均衡的問題。
　　本研究的主要內(nèi)容與貢獻如下：（1）將每個節(jié)點可用于編碼的資源（空閑能力）量化，為每個生產(chǎn)節(jié)點設(shè)定編碼權(quán)重值。節(jié)點權(quán)重值的大小決定分配給該節(jié)點編碼數(shù)據(jù)塊的多少。這樣可以有效地避免編碼速度過慢的節(jié)點成為整個編碼過程的短板，同時還可以降低編碼作業(yè)與用戶I/O的資源競爭，從而提高集群

3、的工作效率。（2）提出一種基于時間窗口的編碼調(diào)度機制，將以權(quán)重值為基礎(chǔ)的任務(wù)分配以一個較短的時間為單位。時間窗口將一個長時間的大作業(yè)劃分為多個時間片內(nèi)的小作業(yè)，以小作業(yè)開始時的用戶負載預(yù)測一個時間窗口的負載——即假定時間窗口內(nèi)用戶負載恒定不變，將動態(tài)的節(jié)點負載轉(zhuǎn)換為靜態(tài)。（3）利用每個節(jié)點上一個時間窗口編碼任務(wù)的完成情況，線性的增加或減少該節(jié)點當(dāng)前時間窗口的權(quán)重值。這樣的權(quán)重值反饋機制不斷的修正時間窗口內(nèi)的節(jié)點空閑能力的偏差。