網(wǎng)站訪問點擊流分析與基于SSIS的ETL設(shè)計實現(xiàn).pdf

1、你真的了解自己的網(wǎng)站嗎?每天有多少人訪問您的網(wǎng)站?現(xiàn)在有誰正在您的網(wǎng)站上?他們做了什么?他們從何而來?搜索引擎為您帶來多少點擊?訪問者搜索的關(guān)鍵詞是什么?您的哪個欄目哪個網(wǎng)頁更受歡迎?這些問題的解決就是本文的目的，其手段是通過數(shù)據(jù)倉庫的形式，因為創(chuàng)建數(shù)據(jù)倉庫作為企業(yè)管理決策支持系統(tǒng)的基礎(chǔ)已得到越來越多企業(yè)領(lǐng)導者的認同，也是企業(yè)經(jīng)營管理決策與信息化結(jié)合的趨勢所在。 傳統(tǒng)數(shù)據(jù)倉庫是針對某個主題，對傳統(tǒng)操作型數(shù)據(jù)庫中的數(shù)據(jù)進行抽取、清

2、洗和轉(zhuǎn)換，加載到數(shù)據(jù)倉庫中，形成多維數(shù)據(jù)集。決策者可通過OLAP(在線分析處理)或數(shù)據(jù)挖掘工具對從不知曉的企業(yè)運營的內(nèi)在知識進行挖掘，挖掘隱含在內(nèi)部的商業(yè)知識、商業(yè)模式，或針對企業(yè)以往發(fā)展，探索成功與失敗的原因。 點擊流數(shù)據(jù)倉庫的數(shù)據(jù)來源與一般數(shù)據(jù)倉庫不同，來自點擊流數(shù)據(jù)，通過收集、整理、轉(zhuǎn)換這些數(shù)據(jù)，建立針對Web點擊信息的各種維度，進而分析網(wǎng)站用戶的行為并最終探索導致這些行為的內(nèi)在原因是點擊流數(shù)據(jù)倉庫的建設(shè)初衷。通過點擊流數(shù)

3、據(jù)倉庫將描述用戶行為的數(shù)據(jù)轉(zhuǎn)為決策者可以利用的有效信息，為網(wǎng)站經(jīng)營者提供決策支持。 通常，Web分析工具能提供一些有利于分析網(wǎng)站基本流量和訪問模式的概要級信息，了解網(wǎng)站的基本運行狀況。但要探究導致網(wǎng)站用戶行為的內(nèi)在因素或其他一些商務問題時，Web分析工具則顯得力不從心。 點擊流數(shù)據(jù)倉庫的建立完全遵從傳統(tǒng)數(shù)據(jù)倉庫建立的原則，其優(yōu)勢源于點擊流數(shù)據(jù)是一種真正改進了的數(shù)據(jù)資源集，加上數(shù)據(jù)倉庫系統(tǒng)本身的成熟應用，使點擊流數(shù)據(jù)倉庫具

4、有其他方式或工具無法比擬的優(yōu)勢。 首先，點擊流數(shù)據(jù)倉庫能夠更好地組織和管理點擊流數(shù)據(jù)，能描繪Web用戶完整的行為視圖； 其次點擊流數(shù)據(jù)倉庫中的數(shù)據(jù)通常經(jīng)過抽取、轉(zhuǎn)換和清洗，因而在數(shù)據(jù)倉庫上進行點擊流數(shù)據(jù)分析可免去許多數(shù)據(jù)預處理的工作； 點擊流數(shù)據(jù)倉庫中集成了大量的歷史數(shù)據(jù)，而對用戶行為分析的大多數(shù)問題也與時間有關(guān)，因此，借助點擊流數(shù)據(jù)倉庫進行點擊流分析更利于理解用戶的行為。 同時，商業(yè)智能通常被理解為將企

5、業(yè)中現(xiàn)有的數(shù)據(jù)轉(zhuǎn)化為知識，幫助企業(yè)做出明智的業(yè)務經(jīng)營決策的工具。商業(yè)智能系統(tǒng)是建立在數(shù)據(jù)倉庫、OLAP(聯(lián)機分析)和數(shù)據(jù)挖掘等技術(shù)的基礎(chǔ)之上，通過收集、整理和分析企業(yè)內(nèi)外部的各種數(shù)據(jù)，為企業(yè)管理層提供科學的決策依據(jù)。 而Microsoft SQL Server2005是用于大規(guī)模聯(lián)機事務處理(OLTP)、數(shù)據(jù)倉庫和電子商務應用的數(shù)據(jù)庫和數(shù)據(jù)分析平臺。在商業(yè)智能方面SQLServer2005提供了三大服務和一個工具來實現(xiàn)系統(tǒng)的整合

6、。三大服務是SQLServer Analysis Services(SSAS分析服務)、SQL Server IntegrationServices(SSIS集成服務)、SQL Server Reporting Services(SSRS報表服務)和一個工具是SQL Server Busilless Intelligence Development Studio(BIDS)。 ETL是將業(yè)務系統(tǒng)的數(shù)據(jù)經(jīng)過抽取、清洗轉(zhuǎn)換之后加載

7、到數(shù)據(jù)倉庫的過程，目的是將企業(yè)中的分散、零亂、標準不統(tǒng)一的數(shù)據(jù)整合到一起，為企業(yè)的決策提供分析的依據(jù)。ETL是OLTP系統(tǒng)和OLAP系統(tǒng)之間的橋梁，是數(shù)據(jù)從源系統(tǒng)流入數(shù)據(jù)倉庫的通道。ETL是BI項目最重要的一個環(huán)節(jié)，通常情況下ETL會花掉整個項目的1/3的時間，ETL設(shè)計的好壞直接關(guān)系到BI項目的成敗。ETL也是一個長期的過程，只有不斷的發(fā)現(xiàn)問題并解決問題，才能使ETL運行效率更高，為項目后期開發(fā)提供準確的數(shù)據(jù)。ETL的實現(xiàn)有多種方法，

8、SQLServer2005的SSIS服務提供了較為完好的ETL解決方案。 因此，應用點擊流數(shù)據(jù)倉庫對網(wǎng)站訪問進行統(tǒng)計分析，在ETL數(shù)據(jù)加載方面使用SQL Server2005的SSIS集成服務，這也是本文主要的應用設(shè)計。主要內(nèi)容章節(jié)安排如下： 第一章緒論部分。主要介紹課題的研究背景，概述課題的研究意義，目的和實際價值。主要針對網(wǎng)站訪問點擊流分析，深入挖掘客戶訪問信息，全面掌握網(wǎng)站運營情況。舉例分析國內(nèi)外產(chǎn)品的研究及應用情

9、況，指出課題的主要研究內(nèi)容。 第二章商業(yè)智能的技術(shù)構(gòu)成與點擊流數(shù)據(jù)倉庫部分。介紹商業(yè)智能、點擊流數(shù)據(jù)倉庫的定義及相關(guān)概念，并對SQL，Server2005實現(xiàn)BI的體系結(jié)構(gòu)進行了解，分析SSIS設(shè)計流程，了解SSIS的典型應用。 第三章Web服務器日志與點擊流數(shù)據(jù)源部分。主要對Web服務器日志文件格式進行分析，研究日志文件與點擊流數(shù)據(jù)源的關(guān)系。 第四章數(shù)據(jù)預處理和基本維度數(shù)據(jù)加載部分。主要分析對W3C日志文件進行

10、預處理的方法、URL的編碼及解碼實現(xiàn)和在后面數(shù)據(jù)倉庫中用到的基本維度如時間、操作系統(tǒng)、瀏覽器及地區(qū)維度的數(shù)據(jù)加載；其中，主要解決IP地址到地區(qū)維度的映射。 第五章數(shù)據(jù)倉庫建模及ETL設(shè)計實現(xiàn)部分。主要對點擊流數(shù)據(jù)倉庫的建模和基于SSIS的ETL的設(shè)計實現(xiàn)，其中提出了在數(shù)據(jù)倉庫建模中的一些建議及SSIS性能優(yōu)化的方式。 第六章網(wǎng)站日志分析與展現(xiàn)部分。主要是利用Analysis Services創(chuàng)建多維數(shù)據(jù)集，部署多維數(shù)據(jù)集

11、到Analysis Services數(shù)據(jù)庫；再利用ProClarity Desktop Professional和Excel2007來完成BI前端展現(xiàn)。 第七章總結(jié)與展望。主要對對本文的研究工作進行概括和總結(jié)。 本文主要的亮點主要解決了IP地址到地區(qū)維度、接入商維度的映射，借助接入商分析功能，可以了解網(wǎng)站訪問者中各接入商的比例，從而確定所需要設(shè)置的鏡像服務器的比例。能夠通過深入挖掘客戶訪問信息，全面掌握網(wǎng)站運營情況。