基于Cox比例風(fēng)險(xiǎn)模型的Hadoop集群可靠性分析.pdf

1、當(dāng)今，Hadoop集群在大數(shù)據(jù)時(shí)代下已經(jīng)廣泛使用，互聯(lián)網(wǎng)公司對(duì)數(shù)據(jù)的處理和分析廣泛使用Hadoop集群。一旦Hadoop集群失效，會(huì)導(dǎo)致數(shù)據(jù)的丟失，帶來(lái)工作上的不便，甚至帶來(lái)重大的經(jīng)濟(jì)損失。對(duì)國(guó)家和個(gè)人來(lái)說(shuō)，Hadoop集群的可靠性始終是一個(gè)令人頭痛的問(wèn)題。所以，Hadoop集群的可靠性研究是十分必要的。
　　在整個(gè) Hadoop集群中，主要包括若干個(gè)數(shù)據(jù)節(jié)點(diǎn)和主節(jié)點(diǎn)。在對(duì)節(jié)點(diǎn)的可靠性分析時(shí)，軟件的失效主要與負(fù)載有關(guān)，所以本文使用

2、Cox比例風(fēng)險(xiǎn)模型來(lái)描述節(jié)點(diǎn)失效率與負(fù)載（累積負(fù)載和瞬時(shí)負(fù)載）的關(guān)系。在 Hadoop集群運(yùn)行中，隨著節(jié)點(diǎn)失效從而會(huì)導(dǎo)致軟件降級(jí)。所以，Hadoop集群的失效過(guò)程可以看成非齊次馬爾可夫過(guò)程(NHMP）。該過(guò)程中，軟件的負(fù)載隨著時(shí)間的變化而變化，不是固定不變的。該過(guò)程可以分為若干個(gè)非連續(xù)的非齊次泊松過(guò)程（NHPP）,該過(guò)程用來(lái)描述每個(gè)節(jié)點(diǎn)失效前的系統(tǒng)可靠性過(guò)程。
　　在此基礎(chǔ)之上，文中對(duì) Hadoop集群的可靠性進(jìn)行了分析。本論文提