2023年全國碩士研究生考試考研英語一試題真題(含答案詳解+作文范文)_第1頁
已閱讀1頁,還剩64頁未讀 繼續(xù)免費閱讀

下載本文檔

版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進行舉報或認(rèn)領(lǐng)

文檔簡介

1、數(shù)據(jù)是廣泛分布于組織,公司,政府部門等單位的實際信息,并且知識是來源于信息的抽象概念。但數(shù)據(jù)被局限在應(yīng)用程序,數(shù)據(jù)庫,企業(yè)內(nèi)部網(wǎng),外聯(lián)網(wǎng),(可擴展標(biāo)示語言)XML,甚至在平面文件或Excel表等中。目前,由于當(dāng)今大量的數(shù)據(jù)在各種各樣的系統(tǒng)間產(chǎn)生和處理,并且這些數(shù)據(jù)對決策和預(yù)測分析具有至關(guān)重要的作用,因此為了商業(yè)分析的用途,需要將數(shù)據(jù)轉(zhuǎn)換和恢復(fù)成有意義的和有價值的信息。大多數(shù)處理大數(shù)據(jù)的公司擁有轉(zhuǎn)換軟件,來將供應(yīng)商的數(shù)據(jù)建立到自己的組織結(jié)

2、構(gòu)中,或建立商業(yè)智能架構(gòu)。
  事實上,有些信息技術(shù)(IT)機構(gòu)期待創(chuàng)造更高水平的技術(shù)改造下。對任何組織機構(gòu)來說,數(shù)據(jù)最重要的一個部分,他們也正在努力學(xué)會操作容易的數(shù)據(jù)。因為無論是當(dāng)前的數(shù)據(jù)還是歷史數(shù)據(jù),它都以任何形式的報表作為支撐,并且報表是做出所有重要管理決策的依據(jù)。
  大多數(shù)公司都開始構(gòu)建自己的數(shù)據(jù)庫來存儲、監(jiān)測實時數(shù)據(jù)和歷史數(shù)據(jù)。創(chuàng)建一個高效的數(shù)據(jù)庫不是一件容易的事情。許多組織機構(gòu)根據(jù)在分布式技術(shù)上的不同的應(yīng)用程序

3、被分成不同的部門。為了使來自不同部門的不同數(shù)據(jù)源之間完美融合,ETL(提取,轉(zhuǎn)換和加載)工具被使用到。ETL工具作為一個集成器,首先從不同的源中提取數(shù)據(jù);然后基于業(yè)務(wù)轉(zhuǎn)換規(guī)則的首選格式將它轉(zhuǎn)換,最后把它加載到銜接數(shù)據(jù)庫或數(shù)據(jù)庫中。
  這些公司面臨的具有挑戰(zhàn)性的事情是:他們怎么能保證轉(zhuǎn)換軟件從每一個輸入數(shù)據(jù)入口到正確輸出的轉(zhuǎn)換,并且對所需的記錄的加載。很顯然,在大型數(shù)據(jù)轉(zhuǎn)換過程中,由于可能存在數(shù)據(jù)不匹配、誤算或有用數(shù)據(jù)丟失,這會導(dǎo)

4、致數(shù)據(jù)轉(zhuǎn)換的失敗,因此,保證正確轉(zhuǎn)換是非常重要的。有幾個資料對降低任務(wù)的風(fēng)險進行了非常簡單的討論,其中強調(diào)的是,在大多數(shù)情況下,一個數(shù)據(jù)轉(zhuǎn)換項目的失敗會導(dǎo)致一個不成功的目標(biāo)應(yīng)用程序替換。盡管實際上這些企業(yè)贏得了較高的業(yè)務(wù)優(yōu)勢,例如,減少費用,提高了利潤,強大的信息管理功能,但由于大量基礎(chǔ)信息的遷移,他們在危險狀態(tài)異常下依然承擔(dān)著很大的風(fēng)險。為了降低風(fēng)險,檢測出可能出現(xiàn)的錯誤以及證明數(shù)據(jù)已被正確地移動和轉(zhuǎn)換,關(guān)鍵在于使用一個詳盡的質(zhì)量確定

5、計劃是。很顯然這可以保證在工業(yè)中任務(wù)的順利轉(zhuǎn)換。
  現(xiàn)有的質(zhì)量檢測方法都是是不可靠的,返回的結(jié)果有偏差,或不能提供數(shù)據(jù)差異的原因,或其他的局限性,如不能測試數(shù)據(jù)轉(zhuǎn)換的每一個入口。由于現(xiàn)有方法的局限性,我們提出了一種大數(shù)據(jù)轉(zhuǎn)換測試的新方式,其不需要采樣或大量輸入數(shù)據(jù)。這是一個基于數(shù)據(jù)的逆向工程概念的大數(shù)據(jù)轉(zhuǎn)換的測試方法。數(shù)據(jù)逆向工程(DRE)是一個眾所周知的方法,主要用于傳統(tǒng)組件,包括分析遺留數(shù)據(jù)環(huán)境,從推導(dǎo)的邏輯模式中來提取現(xiàn)有

6、的數(shù)據(jù)結(jié)構(gòu)。因此,我們所提出的是一個綜合的方法,反轉(zhuǎn)了整個轉(zhuǎn)換過程,并且ETL過程一旦成功,原始源數(shù)據(jù)體系可以從目標(biāo)數(shù)據(jù)系統(tǒng)進行構(gòu)建,并對每一個入口的字符串值進行比較。當(dāng)且僅當(dāng)數(shù)據(jù)可以轉(zhuǎn)換回其原始狀態(tài)時,數(shù)據(jù)轉(zhuǎn)換測試才宣告成功。
  由于數(shù)據(jù)逆向工程可以有助于獲取可能的規(guī)范去實現(xiàn)和發(fā)現(xiàn)如何由此時的狀態(tài)實現(xiàn)未來狀態(tài),我們提出的的框架實現(xiàn)了以下幾點:
  1.通過來自不同源數(shù)據(jù)系統(tǒng)的ETL過程構(gòu)建自己的理想目標(biāo)數(shù)據(jù)系統(tǒng)。

7、  2.一旦目標(biāo)數(shù)據(jù)系統(tǒng)構(gòu)建成功,我們逆向工程從新的構(gòu)造目標(biāo)數(shù)據(jù)系統(tǒng)來檢索原始源數(shù)據(jù)系統(tǒng)(稱為逆轉(zhuǎn)源數(shù)據(jù)系統(tǒng))來完成ETL過程。
  3.通過最初ETL過程的逆向工程成功檢索逆轉(zhuǎn)源數(shù)據(jù)系統(tǒng)后,針對原始源數(shù)據(jù)系統(tǒng)的任何違規(guī)行為,誤算、數(shù)據(jù)類型不匹配等進行比較測試。
  原始源數(shù)據(jù)系統(tǒng)可以追溯到目標(biāo)數(shù)據(jù)系統(tǒng)來構(gòu)建,在這個條件下,對每個字符串的值都進行比較測試。提出這種反轉(zhuǎn) ETL過程的方法有兩個主要的原因:第一,提取階段造成數(shù)據(jù)

8、丟失;第二,成功執(zhí)行預(yù)定義轉(zhuǎn)換過程時產(chǎn)生附加的數(shù)據(jù)。由于所有的數(shù)據(jù)對于重現(xiàn)原始源數(shù)據(jù)庫意義重大,因此,我們所提出的系統(tǒng)充分考慮通過在一個單獨的數(shù)據(jù)系統(tǒng)中保存原始數(shù)據(jù)庫來處理所有的數(shù)據(jù)。
  所有過程都成功實現(xiàn)了,我們提出了系統(tǒng)有以下功能:
  1.驗證源數(shù)據(jù)庫的每一個入口的正確轉(zhuǎn)換,并且根據(jù)指定的業(yè)務(wù)需求和規(guī)則成功加載到正確的目標(biāo)數(shù)據(jù)系統(tǒng)中。
  2.確保了所有數(shù)據(jù)加載到數(shù)據(jù)庫中,并沒有出現(xiàn)數(shù)據(jù)丟失和截斷。
  

9、3.確保了ETL申請被適當(dāng)?shù)伛g回,并用默認(rèn)值替換無效的數(shù)據(jù)報表。
  4.確保了在規(guī)定和預(yù)期的時間內(nèi),將數(shù)據(jù)加載到數(shù)據(jù)倉庫中,來確認(rèn)在性能上的改進和可擴展性。
  基于在轉(zhuǎn)換/映射文件中定義的規(guī)則和模式,從原始源數(shù)據(jù)庫到預(yù)定義目標(biāo)數(shù)據(jù)庫執(zhí)行全球金融數(shù)據(jù)的數(shù)據(jù)轉(zhuǎn)換過程,并且將整個過程的反轉(zhuǎn)工程回溯構(gòu)建源表,我們通過比較每一個原始源數(shù)據(jù)表和反轉(zhuǎn)的源表的入口進行了測試。最終的測試結(jié)果表明,數(shù)據(jù)轉(zhuǎn)換過程是成功的,并且出現(xiàn)沒有任何缺陷

溫馨提示

  • 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 眾賞文庫僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負(fù)責(zé)。
  • 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時也不承擔(dān)用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

評論

0/150

提交評論