Big Data Transformation Testing Based on Data Reverse Engineering.pdf

1、數(shù)據是廣泛分布于組織，公司，政府部門等單位的實際信息，并且知識是來源于信息的抽象概念。但數(shù)據被局限在應用程序，數(shù)據庫，企業(yè)內部網，外聯(lián)網，(可擴展標示語言)XML，甚至在平面文件或Excel表等中。目前，由于當今大量的數(shù)據在各種各樣的系統(tǒng)間產生和處理，并且這些數(shù)據對決策和預測分析具有至關重要的作用，因此為了商業(yè)分析的用途，需要將數(shù)據轉換和恢復成有意義的和有價值的信息。大多數(shù)處理大數(shù)據的公司擁有轉換軟件，來將供應商的數(shù)據建立到自己的組織結

2、構中，或建立商業(yè)智能架構。
　　事實上，有些信息技術(IT)機構期待創(chuàng)造更高水平的技術改造下。對任何組織機構來說，數(shù)據最重要的一個部分，他們也正在努力學會操作容易的數(shù)據。因為無論是當前的數(shù)據還是歷史數(shù)據，它都以任何形式的報表作為支撐，并且報表是做出所有重要管理決策的依據。
　　大多數(shù)公司都開始構建自己的數(shù)據庫來存儲、監(jiān)測實時數(shù)據和歷史數(shù)據。創(chuàng)建一個高效的數(shù)據庫不是一件容易的事情。許多組織機構根據在分布式技術上的不同的應用程序

3、被分成不同的部門。為了使來自不同部門的不同數(shù)據源之間完美融合，ETL（提取，轉換和加載）工具被使用到。ETL工具作為一個集成器，首先從不同的源中提取數(shù)據；然后基于業(yè)務轉換規(guī)則的首選格式將它轉換，最后把它加載到銜接數(shù)據庫或數(shù)據庫中。
　　這些公司面臨的具有挑戰(zhàn)性的事情是：他們怎么能保證轉換軟件從每一個輸入數(shù)據入口到正確輸出的轉換，并且對所需的記錄的加載。很顯然，在大型數(shù)據轉換過程中，由于可能存在數(shù)據不匹配、誤算或有用數(shù)據丟失，這會導

4、致數(shù)據轉換的失敗，因此，保證正確轉換是非常重要的。有幾個資料對降低任務的風險進行了非常簡單的討論，其中強調的是，在大多數(shù)情況下，一個數(shù)據轉換項目的失敗會導致一個不成功的目標應用程序替換。盡管實際上這些企業(yè)贏得了較高的業(yè)務優(yōu)勢，例如，減少費用，提高了利潤，強大的信息管理功能，但由于大量基礎信息的遷移，他們在危險狀態(tài)異常下依然承擔著很大的風險。為了降低風險，檢測出可能出現(xiàn)的錯誤以及證明數(shù)據已被正確地移動和轉換，關鍵在于使用一個詳盡的質量確定

5、計劃是。很顯然這可以保證在工業(yè)中任務的順利轉換。
　　現(xiàn)有的質量檢測方法都是是不可靠的，返回的結果有偏差，或不能提供數(shù)據差異的原因，或其他的局限性，如不能測試數(shù)據轉換的每一個入口。由于現(xiàn)有方法的局限性，我們提出了一種大數(shù)據轉換測試的新方式，其不需要采樣或大量輸入數(shù)據。這是一個基于數(shù)據的逆向工程概念的大數(shù)據轉換的測試方法。數(shù)據逆向工程（DRE）是一個眾所周知的方法，主要用于傳統(tǒng)組件，包括分析遺留數(shù)據環(huán)境，從推導的邏輯模式中來提取現(xiàn)有

6、的數(shù)據結構。因此，我們所提出的是一個綜合的方法，反轉了整個轉換過程，并且ETL過程一旦成功，原始源數(shù)據體系可以從目標數(shù)據系統(tǒng)進行構建，并對每一個入口的字符串值進行比較。當且僅當數(shù)據可以轉換回其原始狀態(tài)時，數(shù)據轉換測試才宣告成功。
　　由于數(shù)據逆向工程可以有助于獲取可能的規(guī)范去實現(xiàn)和發(fā)現(xiàn)如何由此時的狀態(tài)實現(xiàn)未來狀態(tài),我們提出的的框架實現(xiàn)了以下幾點：
　　1.通過來自不同源數(shù)據系統(tǒng)的ETL過程構建自己的理想目標數(shù)據系統(tǒng)。

7、　　2.一旦目標數(shù)據系統(tǒng)構建成功,我們逆向工程從新的構造目標數(shù)據系統(tǒng)來檢索原始源數(shù)據系統(tǒng)(稱為逆轉源數(shù)據系統(tǒng))來完成ETL過程。
　　3.通過最初ETL過程的逆向工程成功檢索逆轉源數(shù)據系統(tǒng)后,針對原始源數(shù)據系統(tǒng)的任何違規(guī)行為,誤算、數(shù)據類型不匹配等進行比較測試。
　　原始源數(shù)據系統(tǒng)可以追溯到目標數(shù)據系統(tǒng)來構建，在這個條件下，對每個字符串的值都進行比較測試。提出這種反轉 ETL過程的方法有兩個主要的原因：第一，提取階段造成數(shù)據

8、丟失；第二，成功執(zhí)行預定義轉換過程時產生附加的數(shù)據。由于所有的數(shù)據對于重現(xiàn)原始源數(shù)據庫意義重大，因此，我們所提出的系統(tǒng)充分考慮通過在一個單獨的數(shù)據系統(tǒng)中保存原始數(shù)據庫來處理所有的數(shù)據。
　　所有過程都成功實現(xiàn)了,我們提出了系統(tǒng)有以下功能：
　　1.驗證源數(shù)據庫的每一個入口的正確轉換，并且根據指定的業(yè)務需求和規(guī)則成功加載到正確的目標數(shù)據系統(tǒng)中。
　　2.確保了所有數(shù)據加載到數(shù)據庫中，并沒有出現(xiàn)數(shù)據丟失和截斷。
　　

9、3.確保了ETL申請被適當?shù)伛g回，并用默認值替換無效的數(shù)據報表。
　　4.確保了在規(guī)定和預期的時間內，將數(shù)據加載到數(shù)據倉庫中,來確認在性能上的改進和可擴展性。
　　基于在轉換/映射文件中定義的規(guī)則和模式，從原始源數(shù)據庫到預定義目標數(shù)據庫執(zhí)行全球金融數(shù)據的數(shù)據轉換過程，并且將整個過程的反轉工程回溯構建源表，我們通過比較每一個原始源數(shù)據表和反轉的源表的入口進行了測試。最終的測試結果表明，數(shù)據轉換過程是成功的，并且出現(xiàn)沒有任何缺陷