基于內(nèi)存計算技術(shù)的企業(yè)海量財務(wù)數(shù)據(jù)實時分析.pdf

1、存儲在企業(yè)內(nèi)部計算機系統(tǒng)之中的日益增長的財務(wù)數(shù)據(jù)暗藏著諸多有價值的信息。在不斷變化的數(shù)據(jù)分析這一需求下，當(dāng)這些待分析的數(shù)據(jù)的量大到一定程度之后，如何實施數(shù)據(jù)分析操作并實時獲得結(jié)果正日益成為一個挑戰(zhàn)。若使用傳統(tǒng)方法，分析操作被發(fā)起之后，往往需要等待一段不短的時間，從幾十分鐘到幾天不等，待系統(tǒng)處理結(jié)束之后才得到結(jié)果。這樣實時性需求無法得到滿足。為了縮短處理時間，有些系統(tǒng)采取預(yù)生成預(yù)先定義維度的物化的中間匯總結(jié)果這一技術(shù)，這樣只能支持預(yù)先定義

2、維度的相關(guān)信息的快速獲取，無法滿足靈活多變地任選維度進行數(shù)據(jù)分析的需求。
　　內(nèi)存計算技術(shù)是目前比較熱門的技術(shù)話題。它采用列方式將數(shù)據(jù)存儲在磁盤中，并且將數(shù)據(jù)按列壓縮。運行時數(shù)據(jù)全部加載到計算機主存中。在數(shù)據(jù)操作過程中，一旦數(shù)據(jù)被需要時立即從主存加載到中央處理器緩存中被處理，相對于傳統(tǒng)方法中數(shù)據(jù)被需要時，先從磁盤加載到主存，然后再從主存加載到中央處理器緩存，大大減少了中央處理器因等待數(shù)據(jù)而空閑的時間。同時它充分利用計算機中央處理器

3、的多內(nèi)核，并行處理數(shù)據(jù)操作。這樣大大縮短一次數(shù)據(jù)分析操作的所需時間。
　　除了從磁盤到中央處理器緩存的數(shù)據(jù)加載過程這一影響性能的瓶頸之外，另一個瓶頸是:在當(dāng)前流行的三層企業(yè)系統(tǒng)架構(gòu)體系下，數(shù)據(jù)總是需要在數(shù)據(jù)層和邏輯層之間雙向傳遞多次，當(dāng)數(shù)據(jù)量達(dá)到海量時，這對性能的消耗相當(dāng)可觀。內(nèi)存計算技術(shù)提供在數(shù)據(jù)層進行內(nèi)存計算的能力，邏輯層和數(shù)據(jù)層之間的界限被去除，大大減少大數(shù)據(jù)傳遞所帶來的性能損耗。
　　本文在分析內(nèi)存計算技術(shù)及其實現(xiàn)框