基于內(nèi)存的輕量級(jí)分布式計(jì)算引擎的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、近年來(lái)隨著網(wǎng)絡(luò)技術(shù)的發(fā)展，網(wǎng)絡(luò)用戶數(shù)量在日益增長(zhǎng)。用戶在上網(wǎng)的過(guò)程中會(huì)產(chǎn)生用戶行為數(shù)據(jù)，這其中包括瀏覽網(wǎng)頁(yè)，網(wǎng)絡(luò)購(gòu)物，觀看視頻等一系列的信息。數(shù)以億計(jì)的用戶產(chǎn)生的數(shù)據(jù)量無(wú)疑是巨大的。存儲(chǔ)和維護(hù)這些數(shù)據(jù)給我們帶來(lái)了挑戰(zhàn)，同時(shí)這些海量的用戶行為數(shù)據(jù)也給我們帶來(lái)了新時(shí)代的機(jī)遇。將海量的用戶數(shù)據(jù)進(jìn)行數(shù)據(jù)挖掘，并向用戶提供定向推薦、實(shí)時(shí)推送成為了一種可盈利的商業(yè)模式。為了從海量數(shù)據(jù)中得到精確的用戶分類(lèi)信息，需要對(duì)數(shù)據(jù)進(jìn)行多次迭代的計(jì)算。因此如何實(shí)

2、現(xiàn)一個(gè)可支持高速迭代計(jì)算的分布式引擎是當(dāng)前的問(wèn)題之一。
　　本文設(shè)計(jì)和實(shí)現(xiàn)了一個(gè)基于內(nèi)存的輕量級(jí)分布式計(jì)算引擎，并對(duì)整個(gè)系統(tǒng)的整體架構(gòu)和實(shí)現(xiàn)細(xì)節(jié)進(jìn)行全方面的闡述。系統(tǒng)充分利用分布式計(jì)算的特點(diǎn)，將數(shù)據(jù)散列到不同的機(jī)器上，減輕每臺(tái)機(jī)器的負(fù)擔(dān)并且提高計(jì)算的速度。為了支持多次迭代的計(jì)算，將每次計(jì)算的數(shù)據(jù)保存在內(nèi)存中而不是在磁盤(pán)上，減少了每次迭代磁盤(pán) I/O的時(shí)間，提高了計(jì)算的效率。在整個(gè)計(jì)算過(guò)程開(kāi)始之前，系統(tǒng)生成本次計(jì)算的執(zhí)行計(jì)劃圖，計(jì)劃

3、圖保存了數(shù)據(jù)之間的轉(zhuǎn)換關(guān)系。當(dāng)數(shù)據(jù)由于意外故障丟失，系統(tǒng)可以根據(jù)計(jì)劃圖重新恢復(fù)丟失的數(shù)據(jù)。系統(tǒng)同時(shí)對(duì)用戶提供了一套編程接口，數(shù)據(jù)的分布式和容錯(cuò)恢復(fù)對(duì)用戶是完全透明的。系統(tǒng)同時(shí)將一個(gè)分布式計(jì)算任務(wù)的控制節(jié)點(diǎn)和計(jì)算執(zhí)行節(jié)點(diǎn)都納入統(tǒng)一的資源管理。系統(tǒng)引入負(fù)載均衡，實(shí)時(shí)監(jiān)控每個(gè)節(jié)點(diǎn)的運(yùn)行情況，根據(jù)節(jié)點(diǎn)的運(yùn)行狀況，下發(fā)計(jì)算任務(wù)。
　　在實(shí)現(xiàn)方面，模塊通信選型Epoll驅(qū)動(dòng)滿足異步事件到達(dá)的處理。在多路網(wǎng)絡(luò)I/O通信的情況下依然可以高效并發(fā)的