開放式海量數(shù)據(jù)處理服務(wù)的計(jì)算完整性研究.pdf

1、開放式海量數(shù)據(jù)處理服務(wù)在大數(shù)據(jù)處理中發(fā)揮著越來越重要的作用。然而，由于開放式服務(wù)可能面臨來自服務(wù)方主觀意圖以及內(nèi)部分布式計(jì)算環(huán)境客觀安全因素等威脅，如何保證服務(wù)的計(jì)算完整性成為重要問題?，F(xiàn)有研究主要對(duì)海量數(shù)據(jù)處理的內(nèi)部計(jì)算框架進(jìn)行研究，通過多副本技術(shù)對(duì)計(jì)算節(jié)點(diǎn)提供的結(jié)果進(jìn)行檢測(cè)，從而保證計(jì)算任務(wù)的計(jì)算完整性。由于基于多副本的技術(shù)將會(huì)帶來很大的計(jì)算開銷，因此限制了方法的實(shí)際可用性；并且這類針對(duì)內(nèi)部計(jì)算節(jié)點(diǎn)的檢測(cè)機(jī)制并不能有效解決服務(wù)方主觀

2、欺騙造成的計(jì)算完整性問題。針對(duì)開放式海量數(shù)據(jù)處理服務(wù)計(jì)算完整性問題，本文從計(jì)算完整性檢測(cè)與計(jì)算完整性保障兩個(gè)方面展開研究。計(jì)算完整性檢測(cè)問題關(guān)注從用戶角度對(duì)服務(wù)方的計(jì)算行為以及結(jié)果的完整性檢測(cè)，屬于計(jì)算完整性的事后檢查；計(jì)算完整性保障問題則從服務(wù)方角度研究如何組織可信的計(jì)算資源得到滿足計(jì)算完整性要求的計(jì)算結(jié)果，屬于計(jì)算完整性的主動(dòng)保護(hù)。本文以當(dāng)前海量數(shù)據(jù)處理的主流計(jì)算模式MapReduce為研究對(duì)象，結(jié)合海量數(shù)據(jù)處理的計(jì)算特點(diǎn)，從提高方

3、法的可用性與計(jì)算效能出發(fā)，以降低計(jì)算完整性檢測(cè)機(jī)制的性能開銷、提高計(jì)算完整性保障力度為優(yōu)化目標(biāo)，系統(tǒng)的研究了開放式海量數(shù)據(jù)處理服務(wù)計(jì)算完整性方面的若干重要問題。本研究主要內(nèi)容包括：
　?、叛芯苛嘶诘谌降挠?jì)算完整性檢測(cè)問題。云服務(wù)模式下，建立可控的云計(jì)算安全監(jiān)管體系是云服務(wù)可信研究要解決的重要挑戰(zhàn)，對(duì)服務(wù)進(jìn)行基于第三方的審計(jì)是其中的重要手段。在MapReduce計(jì)算機(jī)制中，Map計(jì)算為對(duì)用戶原始輸入的處理，是計(jì)算的重要組成部分。

4、本文提出了“基于第三方可信抽樣的Map階段計(jì)算完整性檢測(cè)”機(jī)制，通過可信第三方對(duì)MapReduce中間結(jié)果進(jìn)行抽樣檢測(cè)，以少量的檢測(cè)開銷來檢測(cè)服務(wù)方Map階段的計(jì)算完整性，并且針對(duì)服務(wù)商可能存在的主觀上的不配合問題，利用Merkle樹技術(shù)對(duì)檢測(cè)結(jié)果進(jìn)行組織，防止服務(wù)方為應(yīng)付審計(jì)而進(jìn)行欺騙行為，保證檢測(cè)結(jié)果真實(shí)可靠。
　?、蒲芯苛擞?jì)算完整性用戶自主檢測(cè)問題。在云服務(wù)監(jiān)管體系的建立完善之前，研究服務(wù)方不感知的用戶自主檢測(cè)方法也成為解決

5、問題的有效途徑。本文研究了“基于監(jiān)控探針的計(jì)算完整性用戶自主檢測(cè)方法”，根據(jù)MapReduce計(jì)算問題的類型構(gòu)建預(yù)先知道計(jì)算結(jié)果的監(jiān)控探針并注入到輸入數(shù)據(jù)集合中，通過探針數(shù)據(jù)的計(jì)算結(jié)果來以一定概率檢測(cè)整體計(jì)算任務(wù)是否滿足計(jì)算完整性要求。由于該方法與具體的計(jì)算類型相關(guān)，因此，本文重點(diǎn)對(duì)該方法進(jìn)行建模，對(duì)其重要性質(zhì)進(jìn)行研究，并針對(duì)幾種典型的MapReduce計(jì)算類型研究監(jiān)控探針的構(gòu)造方法。該方法可以對(duì)Map與Reduce的全部計(jì)算階段進(jìn)行完

6、整性檢測(cè)，并且無需服務(wù)方的配合即可得出檢測(cè)結(jié)果；同時(shí)由于該方法基于抽樣檢測(cè)思想，檢測(cè)的開銷可以被用戶所接受。
　?、茄芯苛丝尚砰_放式MapReduce系統(tǒng)構(gòu)建問題。在服務(wù)方內(nèi)部，當(dāng)服務(wù)方利用開放式計(jì)算資源來組織計(jì)算系統(tǒng)時(shí)，由于計(jì)算資源可能來自不同的可信域，因此，需要對(duì)各節(jié)點(diǎn)的計(jì)算結(jié)果進(jìn)行檢測(cè)，只有通過檢測(cè)的結(jié)果才能被采納。當(dāng)前的檢測(cè)手段主要通過多副本檢測(cè)，而對(duì)于多副本機(jī)制在抵御共謀攻擊方面的弱點(diǎn)，則缺乏高效的解決手段。本文提出了“

7、抗共謀的開放式環(huán)境下可信MapReduce系統(tǒng)構(gòu)建”方法，該方法無需針對(duì)共謀攻擊設(shè)計(jì)額外的檢測(cè)機(jī)制，僅利用多副本檢測(cè)的歷史信息，即可定位共謀與非共謀攻擊模式下的惡意節(jié)點(diǎn)。該方法利用完整性證明圖來描述系統(tǒng)內(nèi)的節(jié)點(diǎn)間多副本檢測(cè)關(guān)系，并基于完整性證明圖的最大團(tuán)分析來精確定位惡意節(jié)點(diǎn)。并且，該方法還提出了基于完整性證明圖指導(dǎo)的節(jié)點(diǎn)檢測(cè)對(duì)選擇啟發(fā)式算法，指導(dǎo)檢測(cè)副本對(duì)的選擇，提高惡意節(jié)點(diǎn)檢測(cè)的效率。
　　⑷研究了計(jì)算節(jié)點(diǎn)可信性評(píng)估問題。在海

8、量數(shù)據(jù)處理中，盡管多副本技術(shù)的檢測(cè)精度高，但是由于參與計(jì)算的節(jié)點(diǎn)數(shù)量大，如果完全應(yīng)用多副本技術(shù)來進(jìn)行檢測(cè)，會(huì)導(dǎo)致巨大的計(jì)算開銷。如果能夠利用很小的檢測(cè)成本，對(duì)節(jié)點(diǎn)的可信性進(jìn)行預(yù)評(píng)估，然后在此基礎(chǔ)上，在實(shí)際運(yùn)行的系統(tǒng)中針對(duì)可信度低的節(jié)點(diǎn)再應(yīng)用多副本檢測(cè)，將大大提高檢測(cè)機(jī)制的計(jì)算效率。本文提出了“基于監(jiān)控探針的計(jì)算節(jié)點(diǎn)可信性評(píng)估方法”，通過探針數(shù)據(jù)的計(jì)算結(jié)果判斷探針在系統(tǒng)中是否被正確執(zhí)行，并結(jié)合MapReduce的Shuffle機(jī)制，確定監(jiān)

9、控探針的執(zhí)行路徑，通過信譽(yù)機(jī)制對(duì)各參與計(jì)算的節(jié)點(diǎn)進(jìn)行可信性評(píng)估。該方法工作在應(yīng)用級(jí)，無需對(duì)計(jì)算框架進(jìn)行修改。而通過對(duì)可信節(jié)點(diǎn)的評(píng)估，可以對(duì)那些低可信性排名的節(jié)點(diǎn)進(jìn)行精度更高的多副本檢測(cè)，從而有效降低檢測(cè)機(jī)制的計(jì)算資源需求。
　?、蓪?duì)開放式海量數(shù)據(jù)處理服務(wù)的計(jì)算完整性問題進(jìn)行了深入的研究，提出了具有高可用性、高檢測(cè)率、低開銷的解決方案，并通過理論分析和大量的實(shí)驗(yàn)驗(yàn)證了所提出方法的有效性和性能，對(duì)于建立誠實(shí)可信的開放式海量數(shù)據(jù)處理服務(wù)