零售業(yè)大數(shù)據(jù)下載與分析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、隨著信息安全與信息技術(shù)的發(fā)展，信息和數(shù)據(jù)資源在當(dāng)前經(jīng)濟(jì)領(lǐng)域中發(fā)揮著舉足輕重的作用，能否可以及時(shí)的獲取它們已經(jīng)成為企業(yè)在商業(yè)活動(dòng)里是否成功的關(guān)鍵。大數(shù)據(jù)作為一種剛剛興起的新的領(lǐng)域，越來越受到各大企業(yè)的重視。企業(yè)的業(yè)務(wù)數(shù)據(jù)、銷售數(shù)據(jù)的大量產(chǎn)生，如何才能正確快速的分析這些大數(shù)據(jù)，而且從中提煉出有價(jià)值的信息，從而減少運(yùn)營成本，把握市場趨勢。大數(shù)據(jù)對這些的準(zhǔn)確把握以及及時(shí)性就有十分重要的作用。
　　本論文主要完成了面向零售行業(yè)，基于爬蟲技術(shù)

2、的大數(shù)據(jù)下載和基于OLAP（On-line Analytic Processing，聯(lián)機(jī)分析處理）數(shù)據(jù)庫的數(shù)據(jù)分析計(jì)算的設(shè)計(jì)與實(shí)現(xiàn)方法。爬蟲技術(shù)是針對數(shù)據(jù)下載部分的一個(gè)下載技術(shù)，利用爬蟲我們可以完整快速的將數(shù)據(jù)下載完成并且導(dǎo)入到OLAP數(shù)據(jù)庫中，在OLAP數(shù)據(jù)庫即多維數(shù)據(jù)庫中執(zhí)行多維查詢語句，從而產(chǎn)生客戶所需求的結(jié)果數(shù)據(jù)集。然后將這些數(shù)據(jù)集寫入到Excel格式的文件中并對文件的格式和內(nèi)容進(jìn)行處理，最終形成客戶所想看到的報(bào)表。本系統(tǒng)主要應(yīng)

3、用了Java與SQL Server2008Analysis Service技術(shù)，建成一個(gè)傳統(tǒng)的多層系統(tǒng)模式，該模式同樣包括三層內(nèi)容:業(yè)務(wù)邏輯層、表示層和數(shù)據(jù)訪問層，形成了一個(gè)用戶能夠在WEB頁面上隨意選擇想生成的數(shù)據(jù)報(bào)表，想看到的數(shù)據(jù)類型，然后通過電子郵件或者在線查看的方式瀏覽報(bào)表，還可以自定義報(bào)表內(nèi)容，使報(bào)表更擁有智能化與個(gè)性化。
　　該大數(shù)據(jù)下載與分析計(jì)算系統(tǒng)主要實(shí)現(xiàn)了兩大部分功能，下載大數(shù)據(jù)和從多維數(shù)據(jù)庫中查詢和生成報(bào)表文件

4、的功能，除了這兩大功能外，還實(shí)現(xiàn)了一個(gè)通過前臺(tái)頁面來對數(shù)據(jù)庫進(jìn)行增刪改查的功能，此前臺(tái)頁面的設(shè)計(jì)是為了更好的控制后臺(tái)邏輯的運(yùn)行，前臺(tái)頁面包括數(shù)據(jù)下載類型的配置頁面，下載周期的配置頁面以及用戶權(quán)限管理頁面。此前臺(tái)頁面運(yùn)用了傳統(tǒng)的JSP技術(shù)進(jìn)行設(shè)計(jì)的。
　　最后，本文完成了本系統(tǒng)的測試，特別是在功能測試方面采用了黑盒測試的模式，通過模擬各種異常情況，模擬異常數(shù)據(jù)的導(dǎo)入，來查看系統(tǒng)能否正常運(yùn)行，檢查系統(tǒng)存在的問題并改正，確保系統(tǒng)能夠?qū)崿F(xiàn)