ibm電信業(yè)商業(yè)智能解決方案

1、IBM電信業(yè)商業(yè)智能解決方案,,議程,數(shù)據分析與決策支持系統(tǒng)面臨的挑戰(zhàn)IBM 商業(yè)智能解決方案簡介IBM 方案優(yōu)勢,電信企業(yè)的需要,帳務統(tǒng)計收益分析網絡、基站運維分析績效考核客戶關系管理風險預測市場競爭分析......,帳務統(tǒng)計、分析,日、月統(tǒng)計報表月結算報表營業(yè)收入統(tǒng)計、分析資費來源統(tǒng)計、分析業(yè)務量統(tǒng)計、分析......,收益情況分析,收入總量分析及預測收入增量分析及預測ARPU分析及預測收入結構分析

2、及預測大客戶收入情況分析及預測客戶交費情況分析及預測客戶欠費情況及其結構分析及預測新增客戶交/欠費情況分析及預測欠費回收情況分析高額/欺詐分析銷賬分析,市場競爭分析,市場占有率分析及預測市場需求分析及預測競爭對手發(fā)展情況分析及預測各競爭對手的市場營銷分析供應商市場行為特征分析合作商市場行為特性分析,業(yè)務發(fā)展分析,業(yè)務量發(fā)展分析及預測業(yè)務增量分析及預測MOU分析及預測新業(yè)務使用量分析及預測業(yè)務資源使用特征分

3、析及預測大客戶使用業(yè)務量的特征分析及預測大客戶使用業(yè)務的特征分析及預測流量和流向特征分析及預測,客戶分析,客戶總量分析及預測新增客戶分析及預測客戶凈增量分析及預測客戶流失量分析及預測客戶轉網量分析及預測大客戶發(fā)展分析及預測客戶消費能力分析及預測客戶消費習慣/愛好分析及預測客戶信用度分析外來用戶分析模擬用戶分析儲值卡用戶分析潛在用戶分析零次用戶分析一戶多卡用戶分析,客戶關系管理及市場策略,發(fā)現(xiàn)優(yōu)秀客戶發(fā)現(xiàn)

4、易流失客戶群調整產品定價發(fā)現(xiàn)客戶行為模式開發(fā)新產品交叉銷售......,網絡、基站分析,基站配置與話務量分布情況分析分析各時段各基站/交換機的負載情況網絡收益分析網絡容量分析網絡安全分析熱點小區(qū)分析路由分析等,服務質量分析,客戶服務質量分析客戶服務時限分析客戶咨詢查詢焦點分析客戶投訴焦點分析大客戶服務質量分析客戶滿意度分析客戶忠誠度分析,營銷管理分析,市場價格分析營銷渠道作用分析代銷代辦酬金分析

5、營銷人員素質分析營銷宣傳市場效果分析促銷行為市場效果分析,綜合決策分析,決策取向模擬分析決策行為市場操作模擬分析決策行為市場效果模擬分析,績效考核,分公司績效考核營業(yè)部績效考核營業(yè)員績效考核......,當前狀態(tài),,,,,,,,,,營業(yè)系統(tǒng),結算報表,CRM,局長信息系統(tǒng),挑戰(zhàn)：信息孤島,,,,,,,,,,,,,,,,,,,財務系統(tǒng),市場促銷數(shù)據,客戶數(shù)據,營業(yè)數(shù)據,呼叫中心數(shù)據,建立數(shù)據倉庫、實施商業(yè)智能,,,,,生產系

6、統(tǒng),數(shù)據倉庫,OLAP,智能挖掘,如何實施商業(yè)智能,IBM BI 解決方案產品,IBM BI體系結構,,,,什么是數(shù)據倉庫,數(shù)據倉庫是指從業(yè)務數(shù)據中創(chuàng)建信息數(shù)據庫，并針對決策和分析進行優(yōu)化。 數(shù)據倉庫中的信息是面向主題的、集成化的、穩(wěn)定的、隨時間變化的數(shù)據集合，用以支持管理決策的過程。數(shù)據來自多個數(shù)據源，并整合到一個數(shù)據庫中。在數(shù)據整合的過程中數(shù)據要經過聚合、摘要和清洗。,不同的數(shù)據用于不同的目的,面向主題集成比較穩(wěn)定包含

7、歷史數(shù)據支持管理決策,面向應用有限集成經常更新僅有當前值支持日常業(yè)務運作,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,業(yè)務數(shù)據,信息數(shù)據,,,,業(yè)務數(shù)據和信息數(shù)據根本不同！,"Trust&q

8、uot;Accounts,"Checking"Accounts,"Loan"Accounts,"Loan"Accounts,年,月,日,Account History,建立數(shù)據倉庫的過程,DB2 Data Warehouse體系結構,,,,數(shù)據倉庫代理(Agent)技術,數(shù)據倉庫控制服務器(Warehouse Control Server)時間表啟動從控制數(shù)據庫中獲

9、取商業(yè)視圖定義啟動代理(通過代理后臺進程)循環(huán) : - 接受和記錄結果 - 更新客戶端顯示,數(shù)據倉庫代理(Agent)響應VW管理器循環(huán) : - 接受命令 - 執(zhí)行命令 - 報告狀態(tài),DB2 UDB高度并行的海量數(shù)據庫,SQL Query,Query Optimizer,Best Query Plan,Threaded Code,,,,,,,,,Compile -Time,,,,,Run - Time,

10、Agent,Agent,Agent,Prefetchers,Single query involves1 coordinating agentn sub agentsm prefetchers (shared)All executing in parallel on available processorsCombination of...Data parallelismEach agent works on subse

11、t of dataData dynamically assigned so user not required to partition dataFunctional parallelism ("pipelining")Each agent works on different query function, e.g. scan, sortAlso enablesParallel Index Create

12、Parallel Backup and RestoreAllows multiple processes to read or write data to/from the databaseParallel LOADExploitation of multiple processors during load, particularly for parsing/converting/formatting data,節(jié)點內部并行,P

13、arallel Edition - style (shared-nothing) Data parallelism through hash partitioningPartitions can be... Physical on MPP or clusterLogical on SMP,,,,,,Run - Time,Agent,Prefetchers,,,,,,Agent,Prefetchers,,,,,,Agent,Pre

14、fetchers,,node 0,node 1,node n,SQL Query,Query Optimizer,Best Query Plan,Threaded Code,,Compile -Time,,,,,節(jié)點間并行(數(shù)據庫分區(qū)間并行),,,,,,,,,,,,,,.,.,.,.,.,.,.,.,,.,.,.,.,.,.,.,.,,,,,,,,,,,,,,.,.,.,.,.,.,.,.,,.,.,.,.,.,.,.,.,,,,,,,

15、,,,,,,,.,.,.,.,.,.,.,.,,.,.,.,.,.,.,.,.,,,,,,,,,,,,,,.,.,.,.,.,.,.,.,,.,.,.,.,.,.,.,.,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,Single Database Vie

16、w,Parallel Optimizer,UserQuery,Node(CPU),Node(CPU),Node(CPU),Node(CPU),,,,,,,Shared-nothing software architecture supportsIndependent physical nodesSeparate CPU, memory, and diskIncluding SMP nodesORMu

17、ltiple logical database partitions on single large SMP ServerInterpartition communication is cross memory, not cross networkData is partitioned across nodes automatically by hashingEverything operates in parallelSele

18、ctInsertUpdateDelete,Backup/restoreLoadCreate indexReorg,充分利用分區(qū)數(shù)據庫的能力,,Social Insurance Number,Name,Location,123-456-789,JoeBoston,Toronto,,,Partition Key value Hashed to: "8",VectorPosition,0,1,2,3,4,5,

19、6,7,8,9,10,11,12,...,Node,1,2,3,1,2,3,1,2,3,1,2,3,1,...,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,DB2,,,,DB2,,,,DB2,,,,Partition MapDetermines 'home' for rowCan be adjusted for data skew using the REDISTRIBU

20、TE utility,Hash分區(qū)和分區(qū)映射表,Blends best of MPP and SMP style of parallelismIdeal for SMP clustersMost flexible hardware supportLeading Edge Query Optimizer!,,Run - Time,,node 0,,,,,,,Agent,Agent,Agent,Prefetchers,,node 1,

21、,,,,,,Agent,Agent,Agent,Prefetchers,,node 2,,,,,,,Agent,Agent,Agent,Prefetchers,SQL Query,Query Optimizer,Best Query Plan,Threaded Code,Compile -Time,,,,,,分區(qū)內及分區(qū)間并行,DB2 UDB: 更大的容量,表/視圖/列/別名長度增加名字更容易記憶更容易移植SQL語句長度可達64K

22、B更復雜的查詢和分類(如數(shù)據挖掘)由工具自動生成的語句VARCHAR大小可以達到32KB更小依賴LONG VARCHAR，節(jié)省空間并提高性能最大表/表空間大小64GB/128GB/256GB/512GB可以生成更大的表而不需要分區(qū)(partition)索引字段總長度達1024byte可以對更多/更長的字段加索引,DB2 UDB: 優(yōu)化技術,優(yōu)化級別0-9查詢重寫增加隱含的條件一般條件下壓(pushdown)子查詢

23、該為JOIN消除不必要的JOIN將量化的條件轉化為標量子查詢將OR轉為IN將IN轉為JOIN視圖合并消除不必要的DISTINCT,優(yōu)化器擴展減少限制RID列表排序Index Oring執(zhí)行計劃分析避免Cartesian積增強的JOIN大小估計非統(tǒng)一的分布式統(tǒng)計I/O統(tǒng)計對隨機和順序I/O不同處理鎖優(yōu)化可修正的CPU和I/O成本估算可更新的目錄統(tǒng)計,DB2 UDB與商業(yè)智能集成,新的統(tǒng)計函數(shù)頁面大小：

24、4KB, 8KB, 16KB, 32KB更小的I/O，減少索引的層次優(yōu)化器可以利用多個緩沖池(與頁面大小)更多的利用星型連接優(yōu)化利用星型連接設計的數(shù)據庫性能更好對數(shù)據倉庫的增強數(shù)據加載過程中自動建立索引LOAD TERMINATE/RESTART選項LOAD時遞增的建立索引利用LOAD INSERT將數(shù)據附加到已經存在數(shù)據的表中,易用的管理工具,,,DB2 Connect Enterprise Edition,,,,,

25、,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,DRDA-Compliant Server,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,

26、,,,,,,,,,,,,,,,,,,,,,,,,,,,,,Data ReplicationCaptureApply,VisualAge for Java,DB2 Extenders,Visual Explain,Developers,Client Configuration Assistant,Users,DB2 Discovery,Administrator,Command Center (GUI CLP),DB2 UDB Ser

27、ver,DB2 UDB Server,Governor,Control Center and Utilities,Performance Monitor,Job Scheduler,Performance SmartGuide,Network Configuration SmartGuide,Administration Server,Satellite Administration,集成化的圖形界面管理工具,Control Cente

28、r,Command Center,Performance Monitor,Performance Smart Guide,Index SmartGuide,Other Tools Integrated with the DB2 Control Center,DB2 Script CenterAllows users to create and schedule scripts for regular database activiti

29、esDB2 JournalProvides users with a view of activities which have occured in the DBMSDB2 License CenterAllows users to monitor license complianceDB2 Information CenterProvides users with the entire DB2 UDB Technical

30、 Library onlineServer Communications (Network) Configuration AssistantAutomates set up of server for communication with clientsClient Configuration AssistantDatabase connection configuration and testingCan request t

31、hat DB2 Discovery search network for databases ODBC administrationDB2 DiscoverySearches for DB2 servers and databases over the networkReturns information required for connection to client,DB2家族產品——全面解決方案,,,,,,,,,,,,,

32、,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,TCP/IPIPX/SPXNETBIOS,DOSWINDOWSWinNTWin95Win98OS/2AIXHP-UXSCOSUN SolarisSNI SINIXSGI IrixMACWeb Browsers,Clients,DB2 for OS/400DB2 for AIXDB2 for OS

33、/2DB2 for HP-UXDB2 for HP-UX 11.0DB2 for SUN SolarisDB2 for SINIXDB2 for NTDB2 for SCODB2 for SCO Unixware 7,Servers,DB2 ConnectDatajoinerNet.Data,Middleware,Parallel Complexes,DB2 UDB EEE for AIXDB2 UDB EEE fo

34、r SUN SolarisDB2 UDB EEE for Windows NTDB2 UDB for OS/390DB2 for OS/400,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,

35、,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,Personal,DB2 for OS/2DB2 for WinNTDB2 for Win95DB2 for Win98Lotus ApproachSatellite EditionDB2 Everywhere,,,,,,,,,,,,,,,,

36、,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,

37、,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,OracleSybaseInformixSQL ServerIMS VSAM,Sources,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,Tivoli TME-10

38、Satellite Edition,Management,Hosts,DB2 UDB for OS/390DB2 for VM and VSEDB2 for OS/400,,,,,,,,,,,,,,,,,,,,,,,,,,,,TCP/IPSNAIPX/SPX,WAN,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,Complete

39、Solutions,Online Analytical Processing (OLAP),由IBM研究員E.F. Codd提出，被業(yè)界廣泛采用為計劃和分析優(yōu)化處理多維視圖鉆取切片滿足用戶需求填補關系型數(shù)據庫的不足利用現(xiàn)有投資后臺交易系統(tǒng)前臺報表系統(tǒng),OLAP: 多維分析,用維的方法觀察數(shù)據產品，時間，地區(qū)，財務指標等數(shù)據模型等同于業(yè)務模型,OLAP：多維分析,旋轉：按不同順序組織各個維，對結果進行考察鉆?。涸?/p>

40、一個維內部沿著從高到低或從低到高的方向考察數(shù)據上鉆下鉆切片：在確定某些維數(shù)據的情況下對其他維進行觀察,OLAP: 多維分析,考察一個特定的維時間維，包括每一個歸屬局到各被訪局的沖銷結算關系鉆取到下面的層次來考察詳細情況,OLAP：旋轉,按照不同的順序組合維，對數(shù)據進行考察,OLAP：鉆取,,,結算分析,,時間,,歸屬局,,被訪局,,沖銷結算,,,,,,,,1999,2000,2001,,北京,上海,...,,北京,上海,,,來

41、訪費用,出訪費用,,,,,,,,Q1,Q2,,,Q3,Q4,,,,,Apr,May,Jun,,,,,鉆取到各級數(shù)據層次時間，年，季，月，日歸屬局，省局，地市,OLAP：切片,時間,歸屬局,被訪局,時間,被訪局,歸屬局,一月份所有歸屬局對各被訪局的沖銷結算關系,每個歸屬局對被訪局北京每個月份的沖銷結算關系,用切片的方法從不同的角度觀察,OLAP,OLTP,OLTP vs. OLAP：不同的角色,紀錄交易情況有限的步驟二維數(shù)據管理

42、數(shù)據處理運行商業(yè)運作,確定任務反復的過程多維數(shù)據合并信息綜合推動商業(yè)計劃,,,DB2 UDB支持OLAP的高級特性,,IBM DB2 OLAP Server,開放的系統(tǒng)最終用戶OLAP工具最終用戶查詢/報表工具易于實現(xiàn)和管理自動化的數(shù)據庫設計利用現(xiàn)有的技能和工具系統(tǒng)管理數(shù)據庫管理高度可伸縮性(Scalability)與IBM數(shù)據倉庫體系結合提供兩種存儲方式易于使用的安全權限限制,開放的接口標準

43、,開放的應用程序接口和工具C/C++ API、JDBC、ODBC/CLIEmbedded SQL、SQLJ、Java、C/C++、VB、Delphi/C++ Builder、Power Builder …眾多的客戶端工具DB2 OLAP Server AnalyzerBusiness ObjectBrioCognosExcel/Lotus 123…,通用的運行平臺,AIXSolarisHP-UXWindows N

44、T/2000LinuxS390AS400,OLAP Server與數(shù)據倉庫管理器緊密集成,IBM的數(shù)據倉庫管理器中帶有大量與OLAP Server相關的程序(vwp)：文件數(shù)據加載到OLAP數(shù)據庫數(shù)據加載OLAP用文件數(shù)據更新維用數(shù)據庫數(shù)據更新維計算用規(guī)則計算,客戶可以使用Web方式訪問，不需要安裝任何OLAP工具。,,,,,客戶端訪問和維護,完善的授權機制：應用程序級數(shù)據庫(Cube)級過濾器讀、寫、計算、設

45、計權限用戶組圖形化管理界面,用戶、權限管理,完整的日志紀錄,數(shù)據挖掘,數(shù)據倉庫,選擇的數(shù)據,選擇,轉換,挖掘,轉換后的數(shù)據,可理解的信息,,抽取的信息,一個過程，從大型數(shù)據庫中抽取以前沒有發(fā)現(xiàn)，可理解的，可操作的信息，用以支持企業(yè)關鍵性決策。,數(shù)據挖掘的典型例子,常用數(shù)據挖掘算法分為三類,常用數(shù)據挖掘算法,Clustering (Segmentation) - no dependent variableDemographic

46、SegmentationNeural Segmentation (Kohonen Map)Example: Identify common characteristics in a customer data base.Predictive/Classification Modeling - dependent variableNonlinear regressionDecision trees Neural netw

47、orks Radial-basis functionsExample: Predict IBM's stock price tomorrow.,常用數(shù)據挖掘算法,Link Analysis - transaction dataBasic associations (or dissociation)Sequential associations (over time)Example: Identify which f

48、eatures of an insurance policy sell together.Similar Time Sequence,許多業(yè)務問題可以映射到數(shù)據挖掘技術,Intelligent Miner for Data V6.1,IBM Intelligent Miner for Data,數(shù)據驅動發(fā)現(xiàn)競爭優(yōu)勢,Server端運行于 NT/2000, AIX, SUN Solaris, MVS, AS/400Client端運行

49、于Win95/NT/2000, AIX, SUN Solaris,分群(Clustering)結果樣例,分群(Clustering)結果樣例,分類(Classification)結果樣例,預測樣例,Intelligent Miner for Data支持三種類型的關聯(lián)分析發(fā)現(xiàn)關聯(lián)規(guī)則在交易數(shù)據庫中，每一筆交易包括一組元素，本算法可以發(fā)現(xiàn)所有的關聯(lián)關系，例如一組元素的出現(xiàn)將導致另一組元素的出現(xiàn)。發(fā)現(xiàn)事件序列在數(shù)據庫中存放這一段時間

50、中的交易信息，本算法可以找出交易間的模式，例如一組元素將跟隨另一組元素的出現(xiàn)而出現(xiàn)。發(fā)現(xiàn)相似性時間序列在時間序列數(shù)據庫中，找出與某一個具有相同/不同時間間隔的序列相似的序列。,關聯(lián)分析(link analysis),IM4D體系結構,數(shù)據挖掘為業(yè)務方案提供了一條途徑,IBM DM on the Web,http://www.software.ibm.com/datahttp://www.software.ibm.com/data/