數(shù)據(jù)倉庫和數(shù)據(jù)挖掘

1、數(shù)據(jù)倉庫和數(shù)據(jù)挖掘,DATA WAREHOUSING AND DATA MINING經(jīng)濟(jì)科學(xué)室驗(yàn)室2004.6,主要內(nèi)容,數(shù)據(jù)倉庫簡介 數(shù)據(jù)挖掘簡介ORACLE 數(shù)據(jù)倉庫和數(shù)據(jù)挖掘解決方案,什么是數(shù)據(jù)倉庫 ?,數(shù)據(jù)倉庫（Data Warehouse）是一個(gè)面向主題的（Subject Oriented）、集成的（Integrate）、相對(duì)穩(wěn)定的（Non-Volatile）、反映歷史變化（Time Variant）的數(shù)據(jù)

2、集合，用于支持管理決策。,數(shù)據(jù)倉庫與數(shù)據(jù)庫的區(qū)別,數(shù)據(jù)倉庫的體系結(jié)構(gòu),,什么是數(shù)據(jù)挖掘 ?,數(shù)據(jù)挖掘是一個(gè)利用各種分析方法和分析工具在大規(guī)模海量數(shù)據(jù)中建立模型和發(fā)現(xiàn)數(shù)據(jù)間關(guān)系的過程，這些模型和關(guān)系可以用來做出決策和預(yù)測(cè)。,,,顧客數(shù)據(jù)到處都是，誰才是我的顧客？,,,,,,,銷售信息,,市場信息,訂單目錄,市場數(shù)據(jù)庫,庫存信息,客服信息,數(shù)據(jù)挖掘能做些什么？,數(shù)據(jù)特征化和數(shù)據(jù)區(qū)分 關(guān)聯(lián)分析 分類和預(yù)測(cè) 聚類分析 孤立點(diǎn)分析 演變

3、分析,數(shù)據(jù)挖掘的常用方法,決策樹 相關(guān)規(guī)則 神經(jīng)元網(wǎng)絡(luò) 遺傳算法 可視化 OLAP聯(lián)機(jī)分析處理 統(tǒng)計(jì)方法,ORACLE 數(shù)據(jù)倉庫和數(shù)據(jù)挖掘 解決方案,,,Oracle 提供的數(shù)據(jù)倉庫工具 及其功能介紹,Oracle數(shù)據(jù)庫 SQL *Loader工具Oracle Warehouse Builder (OWB),Oracle9i 數(shù)據(jù)庫,一個(gè)對(duì)象關(guān)系型數(shù)據(jù)倉庫，用于存儲(chǔ)大量的數(shù)據(jù)。,,

4、,SQL *Loader工具,用于將數(shù)據(jù)裝載到數(shù)據(jù)倉庫中。這些數(shù)據(jù)包括Oracle數(shù)據(jù)庫中的數(shù)據(jù)，其他數(shù)據(jù)管理系統(tǒng)中的數(shù)據(jù)和外部數(shù)據(jù)。開發(fā)人員可以利用這兩種工具將多種數(shù)據(jù)源融合在一個(gè)單一的存儲(chǔ)系統(tǒng)中，并加以管理，從而為最終用戶提供對(duì)這多種數(shù)據(jù)源的無縫訪問。,Oracle Warehouse Builder,OWB是Oracle Developer Suits 中的一個(gè)組件，是用于設(shè)計(jì)、實(shí)現(xiàn)、和管理企業(yè)數(shù)據(jù)倉庫和數(shù)據(jù)集市的集成系統(tǒng)。 通

5、過向?qū)?qū)動(dòng)的用戶界面來進(jìn)行數(shù)據(jù)映射、元數(shù)據(jù)導(dǎo)入，利用預(yù)定義的轉(zhuǎn)換庫，能夠減少設(shè)計(jì)和實(shí)施時(shí)間。自動(dòng)生成代碼，并且通過校驗(yàn)程序保證編碼的正確性和唯一性，按照部署的要求生成不同的編碼類型。,Oracle Warehouse Builder,提供可視化的直觀映射和轉(zhuǎn)換工具、對(duì)多維數(shù)據(jù)的拖放功能，以及一個(gè)用于管理倉庫的系統(tǒng)外門戶解決方案，降低設(shè)計(jì)和開發(fā)數(shù)據(jù)倉庫和數(shù)據(jù)中心的復(fù)雜度。OWB為事實(shí)表和維度表提供向?qū)Ш蛨D形編輯器。OWB全面應(yīng)用Or

6、acle9i 的分區(qū)、索引和總結(jié)管理等特性，與數(shù)據(jù)庫的緊密集成允許Oracle9i 作為一種轉(zhuǎn)換引擎使用，排除了增加轉(zhuǎn)換服務(wù)器的需求。,Oracle Warehouse Builder,利用OWB組件——文件集成器，實(shí)現(xiàn)從文本文件中提取數(shù)據(jù)。OWB包括一個(gè)全局共享庫（Global Shared Library)，用于存儲(chǔ)可重復(fù)使用的轉(zhuǎn)換。OWB軟件還包括Oracle Pure Integrate 和OWB Integrator fo

7、r SAP R/3, 前者是將數(shù)據(jù)客戶集成以形成戰(zhàn)略性電子商務(wù)項(xiàng)目基礎(chǔ)的軟件，后者是對(duì)SAP特有的ERP數(shù)據(jù)進(jìn)行強(qiáng)有力報(bào)表制作和分析的集成橋梁。,OWB的開發(fā)過程,邏輯數(shù)據(jù)庫的定義數(shù)據(jù)倉庫的構(gòu)架商業(yè)結(jié)構(gòu)數(shù)據(jù)源和目標(biāo)提取、轉(zhuǎn)換和裝載操作的映射,OWB的開發(fā)過程,物理數(shù)據(jù)倉庫實(shí)例的配置、合法化和部署DDL腳本，用于創(chuàng)建數(shù)據(jù)倉庫和框架對(duì)象之間的關(guān)系PL/SQL、SQL*Loader 和Tcl腳本，用于提取數(shù)據(jù)、映射和轉(zhuǎn)換數(shù)據(jù)，然后

8、將其裝載到物理實(shí)例中,OWB的開發(fā)過程,裝載和管理Oracle Enterprise Manager ，用于調(diào)度單個(gè)工作或是Oracle Workflow進(jìn)程。,Oracle 提供的數(shù)據(jù)挖掘工具 及其功能介紹,Oracle9i Data Mining Oracle9i OLAP 工具集Oracle Discoverer Oracle Express系列Oracle Express Analyzer Oracl

9、e Express Objects Oracle Express Server,Oracle9i Data Mining,提高應(yīng)用軟件的預(yù)測(cè)力和洞察力將數(shù)據(jù)挖掘功能嵌入 Oracle9i 數(shù)據(jù)庫中 基于 Java 的 API,Data Mining,提高應(yīng)用軟件的預(yù)測(cè)力和洞察力,利用DM，公司能夠構(gòu)建高級(jí)商務(wù)智能應(yīng)用程序、對(duì)公司的數(shù)據(jù)庫進(jìn)行挖掘、發(fā)現(xiàn)新的有用信息并將其集成到商務(wù)應(yīng)用程序中。 利用DM，公司能夠提高在客戶關(guān)系

10、管理（CRM），企業(yè)資源計(jì)劃（ERP），網(wǎng)頁入口和無線應(yīng)用等商務(wù)智能方面的能力。鑒別最有利可圖的消費(fèi)者，避免客戶流失 獲得新客戶，對(duì)已有客戶進(jìn)行交叉銷售 檢測(cè)欺詐行為 預(yù)測(cè)零件質(zhì)量 尋找病人、藥品和療效之間的關(guān)系,數(shù)據(jù)挖掘功能的內(nèi)嵌,Oracle9i Data Mining 將數(shù)據(jù)挖掘功能嵌入 Oracle9i 數(shù)據(jù)庫中，用于分類、預(yù)報(bào)和關(guān)聯(lián)。所有的模型構(gòu)建、評(píng)分、以及元數(shù)據(jù)管理操作經(jīng)由基于 Java 的 API 來啟動(dòng)并完

11、全在該關(guān)系數(shù)據(jù)庫中發(fā)生。 采用貝葉斯法則進(jìn)行預(yù)測(cè)和分類 運(yùn)用關(guān)聯(lián)規(guī)則檢測(cè)隱藏于數(shù)據(jù)庫中“相關(guān)”或并發(fā)事件 自動(dòng)提取商務(wù)信息并將其整合在其他應(yīng)用軟件之中,基于 Java 的 API,商務(wù)智能（BI）開發(fā)人員可以使用基于Java的應(yīng)用程序接口（API）來開發(fā)基于預(yù)測(cè)的應(yīng)用軟件。自動(dòng)執(zhí)行數(shù)據(jù)挖掘進(jìn)程，為消費(fèi)者打分以及產(chǎn)生需求預(yù)測(cè)。通過查詢、分析和報(bào)表生成器產(chǎn)生新的數(shù)據(jù)挖掘信息。支持應(yīng)用程序的集成。,Oracle9i OLAP工具,

12、企業(yè)級(jí)OLAP可將跨部門的數(shù)據(jù)緊密地聯(lián)系在一起，從而使所有用戶在一個(gè)共同的信息基礎(chǔ)上。它幫助用戶使用數(shù)據(jù)倉庫中的所有數(shù)據(jù)。企業(yè)級(jí)OLAP還能夠超越數(shù)據(jù)倉庫的范圍，集成來自其它獨(dú)立系統(tǒng)的數(shù)據(jù)，這些系統(tǒng)可能是關(guān)系型數(shù)據(jù)庫或者外部的文件系統(tǒng)。這種集成使得新型應(yīng)用，如：基于事實(shí)的促銷、基于行為的定價(jià)以及產(chǎn)品利潤分析等能夠跨越單一部門的界限。,Oracle Discoverer,是Oracle公司面向 決策支持系統(tǒng)OLAP工具集的組成部分。它是

13、一個(gè)直觀的隨意查詢、報(bào)告、搜索和Web公布的工具。它能夠幫助公司內(nèi)部各個(gè)層次的商業(yè)用戶，獲得迅速訪問關(guān)系型數(shù)據(jù)庫、數(shù)據(jù)中心或者聯(lián)機(jī)事務(wù)處理系統(tǒng)中數(shù)據(jù)的能力。,Oracle Discoverer,User Edition提供了超乎尋常的易用性，通過任意深入能力、旋轉(zhuǎn)和圖表，給予用戶強(qiáng)大的數(shù)據(jù)探索能力。 Administration Edition提供了一個(gè)易于使用的基于服務(wù)器的強(qiáng)大的最終用戶層(End User Layer?) 。

14、對(duì)于那些需要集中精力處理商業(yè)問題而不是數(shù)據(jù)問題的最終用戶而言，End User Layer為他們隱藏了數(shù)據(jù)結(jié)構(gòu)和相互關(guān)系的復(fù)雜性。,Discoverer 支持下面的新特性:,自動(dòng)摘要管理oracle 應(yīng)用的支持標(biāo)志改變計(jì)劃業(yè)主分析功能,Oracle Express系列,通過使用Oracle Express ：分析咨詢?nèi)藛T能夠很輕松地從各自的視角觀察數(shù)據(jù) 產(chǎn)品經(jīng)理能夠跨越許多時(shí)間段和市場區(qū)域研究她負(fù)責(zé)的某個(gè)產(chǎn)品 財(cái)務(wù)經(jīng)理可以

15、集中在當(dāng)前或者以前的時(shí)間段，研究所有的市場和產(chǎn)品 地區(qū)經(jīng)理可在某些地區(qū)的所有時(shí)間段上考察所有產(chǎn)品 策略規(guī)劃人員可以集中在公司數(shù)據(jù)的某個(gè)集上，如在當(dāng)前和下個(gè)季度，僅在西部地區(qū)銷售的某個(gè)新產(chǎn)品。,Oracle Express Analyzer,通用的、面向最終用戶的報(bào)告和分析工具，它采用面向?qū)ο蠹夹g(shù)，在Oracle Express Analyzer中能運(yùn)行任何Oracle Express Objects應(yīng)用。  在Oracl

16、e Express Analyzer的一個(gè)基石性對(duì)象是簡報(bào)(briefing)。一個(gè)簡報(bào)由若干頁組成，每一頁上包含由可重用的對(duì)象建立的面向主題的分析。這些對(duì)象是交互的、用戶能夠旋轉(zhuǎn)、深入和查詢?nèi)魏我粡埡唸?bào)頁中的表格或者圖形，以運(yùn)行他們自己的即席分析。,Oracle Express Objects,是最早出現(xiàn)的用于建立C/S上OLAP應(yīng)用的面向?qū)ο蟮目梢暬_發(fā)環(huán)境。 提供圖形化建模和假設(shè)分析功能 。通過使用標(biāo)準(zhǔn)的Microsoft對(duì)象

17、連接嵌入技術(shù)(OLE)，實(shí)現(xiàn)對(duì)第三方軟件開放。例如能夠使用一個(gè)OLE控件顯示銷售某公司產(chǎn)品的商店。 通過使用代理程序、預(yù)警程序和OLE控件，可以監(jiān)控存貨水平，當(dāng)存貨水平下降時(shí)向管理人員報(bào)警，自動(dòng)提高主要產(chǎn)品的存貨水平。,Oracle Express Server,是一個(gè)先進(jìn)的計(jì)算機(jī)引擎和數(shù)據(jù)高速緩存。 支持最能反應(yīng)用戶對(duì)其業(yè)務(wù)思考方法的多維模型，而且具有分析、預(yù)測(cè)、建模，以及對(duì)數(shù)據(jù)進(jìn)行假設(shè)分析(what-if)的能力。 具有用于數(shù)

18、學(xué)、財(cái)務(wù)、統(tǒng)計(jì)和時(shí)間序列管理等方面的內(nèi)置功能 。,Oracle Express Server,具有伸縮性、強(qiáng)健性和基于應(yīng)用的特性，支持多個(gè)用戶訪問，并且為大型數(shù)據(jù)庫實(shí)現(xiàn)數(shù)據(jù)完整性控制。 Oracle的開放策略允許實(shí)施企業(yè)OLAP的公司自由選擇所需的關(guān)系型數(shù)據(jù)庫、開發(fā)工具和用戶界面，其中包括用戶化的Windows前端、電子表格和WWW，從而獲得最大限度的靈活性。,Oracle 開發(fā)工具簡介,Designer－提供了在RAD風(fēng)格的用戶界

19、面下開發(fā)企業(yè)Web應(yīng)用和客戶/服務(wù)器應(yīng)用的集成式解決方案。Developer提供有一個(gè)集成式工具集 ，能夠?qū)崿F(xiàn)企業(yè)的Internet計(jì)算環(huán)境Jdeveloper 一種高效的3GL編程工具，可用來為客戶應(yīng)用建立數(shù)據(jù)敏感的Java部件,Oracle 開發(fā)工具簡介,Programmer 為應(yīng)用編程人員提供一套完整的編程接口和全面的應(yīng)用開發(fā)解決方案 Reports 用于企業(yè)范圍內(nèi)進(jìn)行“高逼真度”的Web數(shù)據(jù)庫發(fā)布和報(bào)告,謝