網(wǎng)絡(luò)輿情監(jiān)控系統(tǒng)信息存儲(chǔ)設(shè)計(jì)與實(shí)現(xiàn).pdf

1、為保證輿情監(jiān)控的有效性和高效性，輿情監(jiān)控系統(tǒng)需實(shí)時(shí)地獲取大量的輿情信息，能高效的存儲(chǔ)這些輿情信息并進(jìn)行海量數(shù)據(jù)分析。本文中輿情系統(tǒng)數(shù)據(jù)呈現(xiàn)的特點(diǎn)是數(shù)據(jù)量大(TB級別)、文件小而多，需分布式存儲(chǔ)。雖然分布式存儲(chǔ)相關(guān)工作在近幾十年已經(jīng)相當(dāng)?shù)某墒?，但考慮到輿情系統(tǒng)信息處理單元小、快速的讀寫響應(yīng)和讀寫的高度并行性需求，需為其開發(fā)專有的分布式數(shù)據(jù)存儲(chǔ)。
　　結(jié)合集群文件系統(tǒng)機(jī)器間信息傳輸延遲小的特點(diǎn)和P2P分布式系統(tǒng)數(shù)據(jù)訪問的靈活性，設(shè)計(jì)了

2、一種類Napster的局域網(wǎng)信息存儲(chǔ)系統(tǒng)。該信息存儲(chǔ)系統(tǒng)具有高吞吐量、低響應(yīng)時(shí)間和很好的可擴(kuò)展性，具有一定的容錯(cuò)性和透明性；它將很多輿情系統(tǒng)相關(guān)操作集成在存儲(chǔ)系統(tǒng)內(nèi)部，大大降低了網(wǎng)絡(luò)信息傳輸，使得整個(gè)輿情監(jiān)控能高效運(yùn)轉(zhuǎn)。
　　負(fù)載均衡對于集群系統(tǒng)中機(jī)器的充分均等使用、降低系統(tǒng)對外響應(yīng)時(shí)間起著關(guān)鍵性作用。存儲(chǔ)系統(tǒng)在完成信息存儲(chǔ)基本功能的基礎(chǔ)上集成了大量輿情相關(guān)計(jì)算任務(wù)，負(fù)載均衡需充分考慮存儲(chǔ)和計(jì)算。本文為提高爬蟲寫并行性和降低爬蟲寫