網絡流量存儲與分析平臺的設計與實現.pdf

1、目前社會各領域的數據都在以爆炸式的速度增長，伴隨著計算機科學與技術的發(fā)展使得數據的傳遞、存儲與處理方式產生了巨大的變化，由于網絡信息技術的蓬勃發(fā)展，個人和互聯網上的程序以及應用都產生了大量的數據，數據的飛快增長對數據的存儲和高速訪問都提出了新的挑戰(zhàn)。正是因為網絡數據的快速增長，不同網絡應用程序都需要擁有擴展存儲容量的性能，并且應用程序應該能夠實現存儲節(jié)點的動態(tài)加入，并且保證歷史數據及應用程序產生的最新數據在不同存儲節(jié)點的分布均勻，從而實

2、現整個平臺系統(tǒng)的運行負載均衡。根據現階段網絡數據存儲技術的發(fā)展，應用程序的動態(tài)擴容成本較高，而分布式存儲技術可以良好的解決海量數據的低廉存儲及高效的檢索。
　　本文介紹了網絡流量存儲與分析平臺的開發(fā)與實現，針對業(yè)務需求，結合網絡流量分析的相關技術，對網絡流量存儲與分析平臺開展功能性需求分析和非功能性需求分析，并根據需求分析結果對系統(tǒng)功能架構和技術架構完成設計與實現。網絡數據的采集分析業(yè)務使用C++語言基于nprobe改造完成，使用

3、gRPC框架實現采集分析子系統(tǒng)與元數據管理子系統(tǒng)的數據通信傳輸功能，元數據管理系統(tǒng)負責維護、更新存儲節(jié)點的信息并為存儲請求、查詢請求分配節(jié)點信息。查詢業(yè)務使用C++語言實現，首先向元數據管理系統(tǒng)發(fā)送查詢請求，獲得存儲節(jié)點信息后多線程完成各個存儲節(jié)點的查詢業(yè)務，并將結果數據返回客戶端，由客戶端完成結果匯聚后展示給用戶或供第三方應用使用。根據業(yè)務需求，選擇fastbit作為網絡流量存儲與分析平臺的數據庫，針對業(yè)務邏輯，設計數據庫分區(qū)結構及存

4、儲路徑。
　　根據當前網絡的實際運行環(huán)境，本文設計一套完整的流量采集分析和存儲方案，并在此基礎上實現了網絡流量存儲與分析平臺。根據平臺數據的分析結果，我們能夠掌握在特定時刻下當前網絡的整體狀態(tài);掌握不同的應用在網絡中的資源占用情況，使得資源不足的應用能夠得到更多的帶寬;掌握每一個用戶使用網絡的具體情況，并根據結果信息促進管理人員更加有效地分配相關資源;利用NetFlow的相關數據，對運行網絡的不同特征如數據流向等開展解析過程，從而