基于云計算的日志挖掘系統設計與實現.pdf

1、隨著社會信息化進程的不斷加快,信息量不可避免呈現出一個爆炸式增長的趨勢。如何有效應對由此產生的海量數據存儲與計算的挑戰(zhàn),使得云計算成為解決這一難題的一個重要手段?；谠朴嬎愕娜罩就诰蛳到y利用云計算的方法,通過分析和挖掘搜索引擎的海量用戶日志,對其進行復雜的多維度映射和交叉計算,轉化為數據倉庫中各維度統計數據,搭建起了數據挖掘的平臺。得到的搜索引擎網站的十三個具體流量指標,能通過網站流量的變化,為網站運營提供分析的基礎,以及為產品、業(yè)務、

2、決策做支撐。
　　按軟件工程的方法,首先對系統進行了業(yè)務和需求分析,明確了日志挖掘系統的四項功能需求。然后進行了系統的總體設計,給出了系統的流程框架,提出了將系統分為日志預處理、日志分析統計作業(yè)、聯機分析處理三個模塊來進行設計與實現。在系統設計中分別對各個數據模型、XML配置、維度和事實表以及維度映射和交叉規(guī)則的設計做了詳細的分析說明。在系統的實現部分,給出了日志數據裝載過程、ETL過程的實現,維度解析器和各個指標算法的實現,以及