面向有狀態(tài)應(yīng)用的并行系統(tǒng)設(shè)計(jì)研究.pdf

1、在過去十年里,機(jī)群系統(tǒng)得到了巨大的發(fā)展.機(jī)群系統(tǒng)之所以能得到人們的青睞,是因?yàn)樗闹T多優(yōu)良特性,包括使用簡單、高可用、可擴(kuò)展和高性價(jià)比.由于這些本質(zhì)特性,使機(jī)群系統(tǒng)能滿足計(jì)算機(jī)網(wǎng)和電信網(wǎng)中信息系統(tǒng)所必須的高可用、高性能和可擴(kuò)展要求,所以可以看到有越來越多的信息系統(tǒng)在使用機(jī)群系統(tǒng)作為它們的硬件平臺(tái),機(jī)群系統(tǒng)與信息系統(tǒng)儼然結(jié)合在一起了.而有狀態(tài)的信息系統(tǒng),又是所有信息系統(tǒng)中使用機(jī)群系統(tǒng)較典型的一個(gè),這些有狀態(tài)的信息系統(tǒng)的共有特點(diǎn)是,系統(tǒng)要維

2、護(hù)大量的數(shù)據(jù),數(shù)據(jù)以一定的單元組織,每個(gè)單元相對獨(dú)立;系統(tǒng)的典型操作是針對一個(gè)數(shù)據(jù)單元,要支持大量的這種并發(fā)操作.但是設(shè)計(jì)者在用機(jī)群系統(tǒng)為有狀態(tài)的應(yīng)用進(jìn)行設(shè)計(jì)時(shí),會(huì)碰到許多問題.為所有這些問題提出解決方案,每個(gè)解決方案又能滿足指標(biāo)要求,各解決方案之間不抵觸,需要很高的技巧.論文的主要目的就是為了緩解設(shè)計(jì)者在這方面的困難. 論文首先討論了負(fù)載均衡問題.輪循策略是并行系統(tǒng)中常見的負(fù)載均衡策略,而其在有狀態(tài)的應(yīng)用中的使用和相應(yīng)的性能表現(xiàn),還沒

3、有較詳細(xì)的研究和討論,作者對此進(jìn)行了研究.通過綜合排隊(duì)論和概率論理論,提出并建立了分析該問題的數(shù)學(xué)模型,通過分析和仿真實(shí)驗(yàn)得到:系統(tǒng)的性能,即每個(gè)節(jié)點(diǎn)的吞吐量的利用率和平均響應(yīng)時(shí)間伸長率,都主要取決于請求到達(dá)速率與請求服務(wù)速率之比,而受節(jié)點(diǎn)數(shù)和并發(fā)請求源數(shù)的影響很小;系統(tǒng)在處理快速請求源時(shí),系統(tǒng)的每個(gè)節(jié)點(diǎn)的平均吞吐量會(huì)有較大的下降,而平均響應(yīng)時(shí)間上升較少;單節(jié)點(diǎn)平均吞吐量只能達(dá)到最大值的70﹪左右,而平均響應(yīng)時(shí)間上升不超過原請求服務(wù)時(shí)間

4、的2倍;系統(tǒng)在處理慢速請求源時(shí),系統(tǒng)的每個(gè)節(jié)點(diǎn)平均吞吐量下降不明顯,而平均響應(yīng)時(shí)間上升劇烈;單節(jié)點(diǎn)平均吞吐量能達(dá)到最大值的90﹪以上,而平均響應(yīng)時(shí)間上升超過原請求服務(wù)時(shí)間的9倍以上.該研究的重要意義在于,所提出的數(shù)學(xué)模型和分析方法具有一定的通用性,也適用于分析其他負(fù)載均衡策略在有狀態(tài)應(yīng)用中的性能;研究的結(jié)果還表明,采用輪循策略對有狀態(tài)的應(yīng)用進(jìn)行負(fù)載均衡,需考慮不同的應(yīng)用場合和相應(yīng)應(yīng)用的服務(wù)要求,因?yàn)樵诓煌膽?yīng)用場合下系統(tǒng)的性能有顯著的區(qū)

5、別. 針對分布式均衡策略有擴(kuò)展性好,可用性好的優(yōu)點(diǎn),論文對分布式均衡策略進(jìn)行了比較研究.考慮到分布式均衡策略的主要問題是各節(jié)點(diǎn)的決策一致性問題,著重比較了三個(gè)常見策略最小法、權(quán)重法和隨機(jī)法的性能.通過建立相應(yīng)的仿真模型,得到如下結(jié)論:權(quán)重法可以較好地協(xié)調(diào)各節(jié)點(diǎn)的決策,其性能優(yōu)于最小法;當(dāng)前臺(tái)節(jié)點(diǎn)所擁有的后臺(tái)節(jié)點(diǎn)的負(fù)載情況嚴(yán)重失真時(shí),隨機(jī)法表現(xiàn)出的性能優(yōu)于其它兩個(gè).該研究的意義在于,指出了在分布式均衡策略中,通常被認(rèn)為最優(yōu)的最小法

6、并不一定能給出最理想的性能,而通常不被認(rèn)為最優(yōu)的隨機(jī)法卻能在一定條件下給出優(yōu)秀的性能,其性能甚至可優(yōu)于權(quán)重法. 為了提高海量存儲(chǔ)機(jī)群系統(tǒng)中系統(tǒng)的平均故障前時(shí)間,作者在傳統(tǒng)的動(dòng)態(tài)數(shù)據(jù)備份策略的基礎(chǔ)上,提出了動(dòng)態(tài)并行數(shù)據(jù)備份策略.該策略的基本思想是利用海量存儲(chǔ)機(jī)群系統(tǒng)中節(jié)點(diǎn)數(shù)目巨大的特點(diǎn)和每個(gè)備份可以隨機(jī)存儲(chǔ)于任何一個(gè)節(jié)點(diǎn)的特性,通過為失效節(jié)點(diǎn)上的每個(gè)數(shù)據(jù)塊選擇互不相同的源節(jié)點(diǎn)和目標(biāo)節(jié)點(diǎn),來降低數(shù)據(jù)轉(zhuǎn)移時(shí)間,進(jìn)而提高系統(tǒng)的平均故障前

7、時(shí)間.為了證明該策略的有效性,作者根據(jù)隨機(jī)過程理論,提出并建立了馬爾可夫模型,由該模型對系統(tǒng)進(jìn)行瞬態(tài)分析,進(jìn)而通過仿真實(shí)驗(yàn)驗(yàn)證了理論分析的正確性,得到的結(jié)論是:利用動(dòng)態(tài)并行數(shù)據(jù)備份策略,當(dāng)備份數(shù)為2時(shí),系統(tǒng)的平均故障前時(shí)間僅為1小時(shí)左右;而當(dāng)備份數(shù)為3時(shí),可達(dá)十幾天,甚至幾十天;在出現(xiàn)節(jié)點(diǎn)失效后,數(shù)據(jù)塊在節(jié)點(diǎn)間的轉(zhuǎn)移速率對系統(tǒng)的平均故障前時(shí)間有顯著的影響,速率越快,系統(tǒng)的平均故障前時(shí)間越長;數(shù)據(jù)塊在節(jié)點(diǎn)上的隨機(jī)分布特性對系統(tǒng)的平均故障前

8、時(shí)間有很重要的影響,隨機(jī)分布特性差的分布策略,系統(tǒng)的平均故障前時(shí)間會(huì)顯著縮短.該研究的重要意義在于,所提出的并行數(shù)據(jù)備份策略能顯著地提高系統(tǒng)的平均故障前時(shí)間;并且指出通常的觀點(diǎn),即為每個(gè)數(shù)據(jù)單元設(shè)置2個(gè)備份,對于一個(gè)有較高數(shù)據(jù)可靠性要求的海量數(shù)據(jù)系統(tǒng)來說是不能滿足要求的,而使用3個(gè)備份卻能滿足一般的要求. 論文還研究了其他因素對系統(tǒng)平均故障前時(shí)間的影響.研究的目的是通過對這些因素的分析,找到一些策略來保證一定的系統(tǒng)平均故障前時(shí)間

9、,同時(shí)又最大程度地節(jié)省資源,特別是人力資源,因?yàn)閷τ诤Ａ看鎯?chǔ)機(jī)群系統(tǒng)來說,節(jié)點(diǎn)數(shù)目巨大,管理和維護(hù)系統(tǒng)的開銷很大.通過大量的仿真實(shí)驗(yàn)發(fā)現(xiàn),對于一個(gè)通常配置的海量存儲(chǔ)機(jī)群系統(tǒng),當(dāng)節(jié)點(diǎn)的平均維修時(shí)間為2天時(shí),系統(tǒng)平均故障前時(shí)間可維持在10天以上;當(dāng)節(jié)點(diǎn)的平均維修時(shí)間為4天時(shí),仍可維持在4天以上.這表明對完整性要求不高的數(shù)據(jù),系統(tǒng)可放寬節(jié)點(diǎn)的平均維修時(shí)間要求,以降低對人力資源的要求.在恢復(fù)策略對系統(tǒng)平均故障前時(shí)間的影響方面,研究表明若用戶對系

10、統(tǒng)的平均故障前時(shí)間為4天的性能可以接受,則系統(tǒng)維護(hù)者可采用每2到3天維護(hù)一次的方案,將所有失效節(jié)點(diǎn)恢復(fù),加入系統(tǒng),以提高勞動(dòng)效率.另外,通過比較拷貝式與重啟式對系統(tǒng)平均故障前時(shí)間的影響,發(fā)現(xiàn)重啟式不能在節(jié)點(diǎn)數(shù)較大的時(shí)候提供很好的性能,遠(yuǎn)低于拷貝式. 針對有狀態(tài)的應(yīng)用中通常有高并發(fā)的要求,論文對并發(fā)編程模式進(jìn)行了詳細(xì)的研究.首先比較了三種并發(fā)編程模式,即基于多線程的編程模式、基于事件處理的編程模式和基于階段的編程模式,分別指出了它

11、們的優(yōu)缺點(diǎn),特別指出了基于階段的編程模式優(yōu)于其它兩種編程模式的主要原因在于其良性考驗(yàn)的特性,該特性使服務(wù)器系統(tǒng)在處于過載的情況下,仍能維持一定的吞吐量,保證一定的服務(wù)質(zhì)量.緊接著,探討了基于階段的編程模式的實(shí)現(xiàn)結(jié)構(gòu),線程跨階段結(jié)構(gòu)和線程在階段內(nèi)結(jié)構(gòu),比較了兩種結(jié)構(gòu)的優(yōu)缺點(diǎn),并指出由于線程在階段內(nèi)結(jié)構(gòu)有線程數(shù)有限,能處理阻塞操作,能自動(dòng)完成調(diào)度,消息隊(duì)列透明等優(yōu)點(diǎn),所以該結(jié)構(gòu)被廣泛采用.同時(shí),作者還給出了該結(jié)構(gòu)下的Java語言的實(shí)現(xiàn)方法.

12、接著,考慮到相關(guān)文獻(xiàn)對基于階段的編程模式在實(shí)際應(yīng)用中的使用方法沒有詳細(xì)的討論,從三方面對該模式的設(shè)計(jì)進(jìn)行了討論,這些方面包括階段的數(shù)目、階段中線程的數(shù)目和階段的分配.通過大量的仿真實(shí)驗(yàn),發(fā)現(xiàn)用基于階段的編程模式進(jìn)行設(shè)計(jì)時(shí),若系統(tǒng)結(jié)構(gòu)設(shè)計(jì)不合理,參數(shù)設(shè)置不當(dāng),則系統(tǒng)的性能將會(huì)有顯著的下降,甚至達(dá)到無法正常工作的境地,并由此提出了一套新的設(shè)計(jì)原則供設(shè)計(jì)者使用,這些原則是:在每一個(gè)處理器上,階段數(shù)目不能過多,一般不超過10個(gè);對于包含阻塞調(diào)用

13、的階段,它的并發(fā)線程數(shù)可設(shè)為請求到達(dá)速率和平均阻塞時(shí)間的乘積;為了將暫時(shí)響應(yīng)及時(shí)發(fā)送,這部分任務(wù)必須放于一個(gè)不含阻塞調(diào)用的階段.最后,將它們應(yīng)用到實(shí)際的會(huì)話發(fā)起協(xié)議服務(wù)器的實(shí)現(xiàn)中,通過比較不同的系統(tǒng)設(shè)計(jì)的性能,證明了這些原則的正確性.另外,論文所提出的系統(tǒng)設(shè)計(jì)結(jié)構(gòu)對類似的應(yīng)用也有指導(dǎo)意義. 由于機(jī)群系統(tǒng)中不斷會(huì)有節(jié)點(diǎn)失效和恢復(fù),所以容錯(cuò)設(shè)計(jì)是系統(tǒng)能正確運(yùn)行的關(guān)鍵技術(shù).鑒于這方面的工作,往往是設(shè)計(jì)者根據(jù)自身的經(jīng)驗(yàn)完成,而沒有一套通

14、用的分析和設(shè)計(jì)方法,本文對此做了研究.為使設(shè)計(jì)者能進(jìn)行有層次有條理的容錯(cuò)設(shè)計(jì),提出了一套新的容錯(cuò)設(shè)計(jì)分層概念,這些分層概念包括基本級設(shè)計(jì)、系統(tǒng)級設(shè)計(jì)、基本級容錯(cuò)設(shè)計(jì)和系統(tǒng)級容錯(cuò)設(shè)計(jì).通過將這些概念應(yīng)用于4個(gè)實(shí)際系統(tǒng)的容錯(cuò)設(shè)計(jì)分析,證實(shí)了這些概念能很好地將容錯(cuò)設(shè)計(jì)從系統(tǒng)設(shè)計(jì)中分離出來,同時(shí),這樣的分析所得出的容錯(cuò)設(shè)計(jì)方案也可供設(shè)計(jì)者進(jìn)行重用.另外,還從許多系統(tǒng)的容錯(cuò)設(shè)計(jì)中,總結(jié)出4條常見的設(shè)計(jì)技術(shù),供設(shè)計(jì)者參考,這些技術(shù)包括節(jié)點(diǎn)失效檢測技

15、術(shù)、失效消息處理技術(shù)、簿記技術(shù)與緩存技術(shù)和重試技術(shù). 論文還對狀態(tài)分配的方法進(jìn)行了分類和歸納,總結(jié)了每種方法的特點(diǎn).對分布式狀態(tài)分配策略中的數(shù)據(jù)分配表的重建問題,進(jìn)行了詳細(xì)的討論,提出了簡單平均法,該法可使新建后系統(tǒng)中各節(jié)點(diǎn)維護(hù)基本相同數(shù)目的元數(shù)據(jù),以均衡新建后系統(tǒng)中各節(jié)點(diǎn)元數(shù)據(jù)訪問的負(fù)載,還可使各正常工作節(jié)點(diǎn)的元數(shù)據(jù)表的變化盡可能小,以減小重建元數(shù)據(jù)表所需開銷. 組成員協(xié)議設(shè)計(jì)方面,論文比較了常見的檢測協(xié)議和決定協(xié)議的