海量時序數(shù)據(jù)高可用性實時存儲技術研究與應用.pdf

1、隨著社會的高速發(fā)展和信息化技術的普及,世界各地每時每刻都有大量的時序數(shù)據(jù)在諸如金融、工業(yè)、社交網(wǎng)絡等領域產(chǎn)生,且在量上呈現(xiàn)快速增長趨勢。由于這些時序數(shù)據(jù)在監(jiān)管、決策、預測等方面有著極為重要的作用,隨之而來的數(shù)據(jù)實時存儲問題就顯得極具探討價值。
　　 現(xiàn)行的數(shù)據(jù)實時存儲系統(tǒng)主要是基于關系數(shù)據(jù)庫的實時存儲技術,由于關系數(shù)據(jù)庫本身設計的復雜性,導致了現(xiàn)行實時存儲系統(tǒng)一系列效率,擴展性和移植性的問題。因此,本文提出了一種基于現(xiàn)有文件系統(tǒng)

2、的時序數(shù)據(jù)實時存儲技術。
　　 本文對基于文件的海量時序數(shù)據(jù)實時存儲技術進行了論述,并針對海量時序數(shù)據(jù)流特征分析歸納了其實時存儲技術的需求,提出相應的實時存儲方案。分布式部署和高度定制化的線程模型帶來了極高的擴展性,資源動態(tài)調(diào)度策略提高了在高吞吐時的抗壓能力,并提出了一個基于高可用性集群和文件分時段索引策略的數(shù)據(jù)實時存儲模型。
　　 本文對海量時序數(shù)據(jù)實時存儲方案的技術架構(gòu),詳細設計以及關鍵技術實現(xiàn)等方面進行了全面闡述,