金融數(shù)據(jù)Web抓取及處理系統(tǒng)的設計與實現(xiàn).pdf

1、隨著金融市場的全球化發(fā)展以及計算機網(wǎng)絡技術的廣泛應用，全球金融市場已經(jīng)開始走向金融網(wǎng)絡化，與此同時互聯(lián)網(wǎng)業(yè)已成為企業(yè)、機構和個人獲取金融信息的主要來源；作為專業(yè)金融信息服務提供商，在面對如此海量、繁雜的互聯(lián)網(wǎng)金融信息資源時不可避免會遇到一個巨大的挑戰(zhàn)，即如何從互聯(lián)網(wǎng)中實時、快速地抓取和處理金融數(shù)據(jù)。RicGenerator(實習所在公司的項目名)就是在此背景下所開發(fā)的金融數(shù)據(jù)Web抓取及處理項目，該項目是一個利用Web數(shù)據(jù)抓取技術實時獲

2、取全球各個金融網(wǎng)站原始金融數(shù)據(jù)，并對金融數(shù)據(jù)做處理轉換生成特定格式的金融數(shù)據(jù)文件的應用程序系統(tǒng)。
　　在RicGenerator項目中，本人參與完成了系統(tǒng)架構的分析、設計和實現(xiàn)，包括表現(xiàn)層、業(yè)務層和數(shù)據(jù)層三層架構的詳細設計與實現(xiàn)，以及文件系統(tǒng)操作、Excel進程操作、日志操作等系統(tǒng)公共模塊組件的開發(fā)；參與完成了系統(tǒng)用戶界面的設計，基于多線程技術的用戶交互的實現(xiàn)；參與完成了Web內容抓取模塊的詳細設計與開發(fā)、Web數(shù)據(jù)抽取模塊的詳細