基于語義的金融行業(yè)大數(shù)據(jù)整合及處理技術(shù).pdf

1、ADissertationSubmittedtoZhejiangUniversityfortheDegreeofMasterofEngineering，●一1一TITLE：!h曼呈i塾壘墮Qi壘!旦igQ叢壘亙望!星g!叢iQ墜i墮魚1、rn●●’～●一o1rocesslng上eclmologV15aseaOn3emantinsAuthor：Supervisor：rrotessorbhanolngL1一n^^●tI。。。。______●

2、__●__●。。_●●_■____。。__。。●_■_______●。。。?！馹_____。。1●。_____?！瘛鯻_■_______。_。__________。。?！馹__________■。_______一Subject：gQ墜P墮曼!△pP!i堡壘!iQ壘!曼堡壘墮Q!QgYCollege：CollegeofComputerScienceandTechnologySubmittedDate：20130109浙江大學(xué)碩士學(xué)位論文

3、摘要摘要隨著大數(shù)據(jù)時代的到來，數(shù)據(jù)驅(qū)動的商業(yè)模式日益受到企業(yè)的青睞，通過對大數(shù)據(jù)的處理和分析，可以更好的進行商業(yè)決策、科學(xué)計算以及其市場趨勢的預(yù)測等，數(shù)據(jù)的重要性日益突顯。然而，大數(shù)據(jù)的一些新的特征給數(shù)據(jù)處理帶來了新的挑戰(zhàn)。目前，在金融領(lǐng)域里，分布廣泛的金融系統(tǒng)每天都會產(chǎn)生大量的數(shù)據(jù)，而風(fēng)險管理、預(yù)測等工作都需要對分散在這些系統(tǒng)中的大量數(shù)據(jù)進行采集、整合以及處理。一方面由于系統(tǒng)結(jié)構(gòu)的復(fù)雜性，尤其是數(shù)據(jù)存儲結(jié)構(gòu)的多樣性，導(dǎo)致了傳統(tǒng)數(shù)據(jù)倉庫

4、技術(shù)無法對大量的異構(gòu)數(shù)據(jù)進行整合及處理；另一方面，由于金融行業(yè)其行業(yè)的特殊性，常常受到各種外界條件的影響，例如合規(guī)、政策等，這些外界條件的變化將直接導(dǎo)致對數(shù)據(jù)分析策略的改變，從而影響到最終的結(jié)果。針對上述兩方面問題，本文提出了一種可以對復(fù)雜金融環(huán)境下的異構(gòu)數(shù)據(jù)信息進行整合及處理的基于語義的大數(shù)據(jù)處理系統(tǒng)。在數(shù)據(jù)整合方面，該系統(tǒng)通過語義技術(shù)將各種異構(gòu)數(shù)據(jù)以語義資源的形式發(fā)布到語義本體庫中，在語義層面上實現(xiàn)數(shù)據(jù)的查詢與計算；數(shù)據(jù)處理方面，該

5、系統(tǒng)通過采用Hadoop分布式計算框架以及MAPREDUCE技術(shù)實現(xiàn)大數(shù)據(jù)的分布式計算，從而大大提高數(shù)據(jù)的處理效率。本文結(jié)構(gòu)安排如下：第一章，結(jié)合大數(shù)據(jù)的面臨的問題以及金融領(lǐng)域大數(shù)據(jù)背景，總結(jié)了金融領(lǐng)域面臨大數(shù)據(jù)的面臨的相關(guān)問題，并針對這些問題提出了基于語義的大數(shù)據(jù)處理系統(tǒng)模型；第二章，主要介紹了語義，數(shù)據(jù)整合，分布式計算等方面的相關(guān)技術(shù)；第三章，從層次結(jié)構(gòu)上闡述了提出的系統(tǒng)模型；第四章，詳細(xì)介紹了基于語義的關(guān)系數(shù)據(jù)整合及分布式查詢方案