基于Cox比例風(fēng)險模型的Hadoop集群可靠性分析.pdf

1、當(dāng)今，Hadoop集群在大數(shù)據(jù)時代下已經(jīng)廣泛使用，互聯(lián)網(wǎng)公司對數(shù)據(jù)的處理和分析廣泛使用Hadoop集群。一旦Hadoop集群失效，會導(dǎo)致數(shù)據(jù)的丟失，帶來工作上的不便，甚至帶來重大的經(jīng)濟(jì)損失。對國家和個人來說，Hadoop集群的可靠性始終是一個令人頭痛的問題。所以，Hadoop集群的可靠性研究是十分必要的。
　　在整個 Hadoop集群中，主要包括若干個數(shù)據(jù)節(jié)點(diǎn)和主節(jié)點(diǎn)。在對節(jié)點(diǎn)的可靠性分析時，軟件的失效主要與負(fù)載有關(guān)，所以本文使用

2、Cox比例風(fēng)險模型來描述節(jié)點(diǎn)失效率與負(fù)載（累積負(fù)載和瞬時負(fù)載）的關(guān)系。在 Hadoop集群運(yùn)行中，隨著節(jié)點(diǎn)失效從而會導(dǎo)致軟件降級。所以，Hadoop集群的失效過程可以看成非齊次馬爾可夫過程(NHMP）。該過程中，軟件的負(fù)載隨著時間的變化而變化，不是固定不變的。該過程可以分為若干個非連續(xù)的非齊次泊松過程（NHPP）,該過程用來描述每個節(jié)點(diǎn)失效前的系統(tǒng)可靠性過程。
　　在此基礎(chǔ)之上，文中對 Hadoop集群的可靠性進(jìn)行了分析。本論文提