基于Web的金融數(shù)據(jù)收集與智能分析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、該項(xiàng)目來自于本人實(shí)習(xí)期間所在的公司湯森路透（北京）。作為一家信息提供商，湯森路透所提供的信息質(zhì)量和信息服務(wù)是至關(guān)重要的。在如今的信息時(shí)代，人們已經(jīng)被信息的洪流所包圍。數(shù)據(jù)已經(jīng)滲透到當(dāng)今每一個(gè)行業(yè)和業(yè)務(wù)職能領(lǐng)域，成為重要的生產(chǎn)因素。數(shù)據(jù)化信息資源已經(jīng)成為推動(dòng)社會(huì)進(jìn)步和經(jīng)濟(jì)增長(zhǎng)得戰(zhàn)略性資源。湯森路透金融交易業(yè)務(wù)部的數(shù)據(jù)分析師們每天都需要面對(duì)來自全球250多家證券交易所、幾百個(gè)場(chǎng)外交易市場(chǎng)的實(shí)時(shí)數(shù)據(jù)和歷史數(shù)據(jù)。如果僅依靠數(shù)據(jù)分析師們手工去收集

2、和分析這些數(shù)據(jù)是不現(xiàn)實(shí)的。
　　將這一過程實(shí)現(xiàn)自動(dòng)化，開發(fā)了這套基于Web的金融數(shù)據(jù)收集與智能分析系統(tǒng)ACE(Accelerated Content Engine)。ACE系統(tǒng)后臺(tái)可以幫助分析師全自動(dòng)化采集實(shí)時(shí)交易數(shù)據(jù)，然后將采集到的數(shù)據(jù)進(jìn)行自動(dòng)分析處理或者分發(fā)處理。ACE系統(tǒng)前臺(tái)為數(shù)據(jù)分析團(tuán)隊(duì)提供了自動(dòng)化的數(shù)據(jù)檢查和半自動(dòng)化數(shù)據(jù)分析功能。
　　本人結(jié)合湯森路透數(shù)據(jù)分析師的業(yè)務(wù)流程開發(fā)了該系統(tǒng)，具體工作如下:
　　(1

3、)完成了該系統(tǒng)的需求分析，本人在學(xué)習(xí)軟件工程相關(guān)課程基礎(chǔ)上，通過與ETI(Exchange Trade Instrument)和Corax團(tuán)隊(duì)的分析師進(jìn)行需求調(diào)研后，完成了該系統(tǒng)的需求分析工作。
　　(2)完成了該系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)，包括ControllingMaster采集子系統(tǒng)、DataDistribution分發(fā)處理子系統(tǒng)和數(shù)據(jù)庫的設(shè)計(jì)。
　　(3)采集子系統(tǒng)的設(shè)計(jì)和實(shí)現(xiàn)，包括AppEngines爬蟲引擎模塊、AppEn

4、gineWrapper調(diào)度模塊、AppHost(SlaveHost)爬蟲引擎工廠模塊。
　　(4)分發(fā)處理子系統(tǒng)的設(shè)計(jì)和實(shí)現(xiàn)。包括ACE Web UI(User Interface)半自動(dòng)化數(shù)據(jù)處理界面模塊、ACE Fully Automation全自動(dòng)化數(shù)據(jù)處理模塊。
　　(5)進(jìn)行了系統(tǒng)測(cè)試，系統(tǒng)功能調(diào)試通過后，還分別執(zhí)行了白盒測(cè)試和黑盒測(cè)試。
　　該系統(tǒng)已經(jīng)完成，并在湯森路透數(shù)據(jù)分析師團(tuán)隊(duì)投入使用，運(yùn)行期間一切正