基于HBase的電信網(wǎng)管告警存儲方式設(shè)計和實施.pdf

1、近幾年隨著4G網(wǎng)絡(luò)的建設(shè)，山東移動公司的故障管理系統(tǒng)中需要處理的告警越來越多。系統(tǒng)每天需要進行幾百萬的告警數(shù)據(jù)處理并存入數(shù)據(jù)庫中，使得告警數(shù)據(jù)庫中存儲的數(shù)據(jù)越來越龐大。在TB級別數(shù)據(jù)量上，傳統(tǒng)的告警存取方式很難提供一個良好的查詢性能，嚴(yán)重影響了用戶的體驗。特別是現(xiàn)在大數(shù)據(jù)分析的飛速發(fā)展，利用現(xiàn)有告警數(shù)據(jù)與其他各個維度或格式的數(shù)據(jù)進行綜合分析為更好的保障網(wǎng)絡(luò)質(zhì)量服務(wù)，成為網(wǎng)絡(luò)監(jiān)控部門新的關(guān)注點，目前的告警數(shù)據(jù)存取方式不能很好的支持?jǐn)?shù)據(jù)挖掘

2、分析的需要。
　　HBase作為一種NOSQL數(shù)據(jù)庫，能夠較好的應(yīng)對大數(shù)據(jù)的存取，支持毫秒級別的查詢，為告警數(shù)據(jù)的存取提供了方向。本文通過分析HBase的相關(guān)特性以及網(wǎng)管告警數(shù)據(jù)的特點，確定了使用HBase存儲網(wǎng)管告警數(shù)據(jù)的可行性。然后設(shè)計一種HBase系統(tǒng)設(shè)計方案來實現(xiàn)對告警數(shù)據(jù)的存取，并針對告警數(shù)據(jù)存取時面臨的熱點問題和多條件組合查詢問題提出了解決方法。
　　針對告警數(shù)據(jù)存取時的熱點問題，本文從散列方式和預(yù)分區(qū)兩個方面進

3、行處理，通過將數(shù)據(jù)進行散列處理和對Region進行預(yù)劃分，使得告警數(shù)據(jù)能夠在HBase中相對均勻的分布，盡量避免了熱點的出現(xiàn)。對于HBase無法直接支持多條件組合查詢問題，從網(wǎng)管告警流水號、RowKey和二級索引等幾個方面進行改造和設(shè)計，來滿足常用條件查詢需求的需要。首先將網(wǎng)管告警流水號從單純的計數(shù)器生成方式改造為根據(jù)告警發(fā)生時間生成，使得網(wǎng)管告警流水號包含時間信息;然后將RowKey設(shè)計為通過由時間生成的散列值和網(wǎng)管告警流水號組成，使

4、得可以將網(wǎng)管告警流水號直接轉(zhuǎn)換為RowKey，簡化RowKey設(shè)計并為數(shù)據(jù)存取提供方面;最后通過使用一個基于條件組合的輔助索引表來完成對二級索引的存儲，使得在查詢時能夠首先通過索引表來獲取滿足條件的索引數(shù)據(jù)，然后再快速的從數(shù)據(jù)表中提取數(shù)據(jù)，提升條件查詢的效率。
　　通過分析發(fā)現(xiàn)使用HBase進行告警數(shù)據(jù)的存儲，可以滿足故障管理系統(tǒng)日益增長的數(shù)據(jù)量和用戶對數(shù)據(jù)分析的需求。本文為解決使用HBase存取告警數(shù)據(jù)時遇到的熱點問題和多條件組