資料剖析知識(shí)探勘

1、數(shù)據(jù)挖掘在商業(yè)管理與決策分析之實(shí)例應(yīng)用,,,,決策分析質(zhì)量與效率之提升數(shù)據(jù)挖掘之原理概念與功能數(shù)據(jù)挖掘之建構(gòu)方法應(yīng)用案例介紹電子商務(wù)之應(yīng)用（Web Mining/WAP Mining）建議與結(jié)論,引言,經(jīng)營(yíng)環(huán)境,經(jīng)營(yíng)環(huán)境日益挑戰(zhàn)考慮：成本、利潤(rùn)、質(zhì)量 . . . .管理活動(dòng)整合：業(yè)務(wù)運(yùn)作、管理控制、策略規(guī)畫(huà)信息密集行業(yè)全方位/多角化經(jīng)營(yíng),資料 --企業(yè)寶貴之資產(chǎn),信息,Mining,資料倉(cāng)儲(chǔ),,Mining,知識(shí),

2、,,,,,,(Corporate Memory),(Corporate Intelligence),,,,,,Database/DataWarehouse,Targetdata,Cleaneddata,Transformeddata,Pattern/model,評(píng)鑒,數(shù)據(jù)視覺(jué),資料挖掘,數(shù)據(jù)轉(zhuǎn)換與簡(jiǎn)化,前置處理與清理,樣本選取,,,,,,,,,,,,,,,,,,,,Performancesystem,知識(shí)發(fā)現(xiàn)流程（Knowle

3、dge Discovery),Knowledge,/Adapted from IBM Corp./,數(shù)據(jù)挖掘之基本概念,背景管理信息超載及結(jié)構(gòu)化不足信息混亂與誤用管理問(wèn)題復(fù)雜度高實(shí)時(shí)決策分析日益重視發(fā)展目的有效利用搜集之市場(chǎng)、客戶、供貨商、競(jìng)爭(zhēng)對(duì)手及未來(lái)趨勢(shì)信息使企業(yè)經(jīng)由有效之方法與技術(shù)從歷史數(shù)據(jù)里擷取有用的知識(shí),數(shù)據(jù)挖掘原理,主要方法數(shù)據(jù)庫(kù)、數(shù)據(jù)視覺(jué)、統(tǒng)計(jì)學(xué)、機(jī)器學(xué)習(xí)等相關(guān)技術(shù)類神經(jīng)網(wǎng)絡(luò)、模糊邏輯、基因算法、基因規(guī)

4、畫(huà)、 案例庫(kù)推理法、規(guī)則庫(kù)推理、統(tǒng)計(jì)回歸等知識(shí)表現(xiàn)決策樹(shù) 、法則、定量數(shù)學(xué)公式、黑箱公式 等,Data mining主要功能與技術(shù),功能 技術(shù) 適用領(lǐng)域關(guān)聯(lián)性 (Association) 案例庫(kù)推理/集合理論/統(tǒng)計(jì) 菜籃分析時(shí)間序列 (Sequence) 類神經(jīng)網(wǎng)絡(luò)

5、/統(tǒng)計(jì) 利率預(yù)測(cè)分類 (Classification) 基因演算/類神經(jīng)網(wǎng)絡(luò)/統(tǒng)計(jì)/ 客戶評(píng)鑒分類 模糊邏輯案例推理/決策樹(shù)公式 (Modeling) 基因規(guī)劃/基因演算/回歸 銷售預(yù)測(cè)群組 (Clustering)

6、 類神經(jīng)網(wǎng)絡(luò)/模糊邏輯/ 市場(chǎng)區(qū)隔基因演算/統(tǒng)計(jì),數(shù)據(jù)挖掘應(yīng)用現(xiàn)況,Safeway 販賣促銷信息（e.g. coupon)音樂(lè)/電影喜好問(wèn)卷搜集Fidelity Investment客戶服務(wù) （cross-selling/ wallet share)First USA Bank信用卡資料（汽車房貸）Capital One 降低貸款風(fēng)險(xiǎn)損失率First Union預(yù)測(cè)潛在流失客戶

7、預(yù)測(cè)侵蝕性的物質(zhì)對(duì)皮膚的影響降低產(chǎn)品(藥品或毒品)的發(fā)展成本和時(shí)間，以及減少動(dòng)物實(shí)驗(yàn)的需求分析零售商店歷史銷售記錄與位置概述以決定最佳的位置分析提款機(jī)設(shè)置地點(diǎn)最佳位置,Data Mining 過(guò)程,了解應(yīng)用領(lǐng)域建立目標(biāo)集、選擇目標(biāo)數(shù)據(jù)集去除數(shù)據(jù)雜質(zhì)、做先置處理減少數(shù)據(jù)和數(shù)據(jù)轉(zhuǎn)換選擇數(shù)據(jù)挖掘的模式（功能）選擇數(shù)據(jù)挖掘的算法（技術(shù)）資料挖掘評(píng)估第七步驟的結(jié)果整理發(fā)現(xiàn)的知識(shí),實(shí)例應(yīng)用,客戶評(píng)鑒與分類 (NeuroFuzz

8、y)提升郵購(gòu)回函率 (Fuzzy)股市交易最佳化規(guī)則之發(fā)掘 (GA)零售商品與客源群聚相關(guān)性分析 (Neural/Statistic)民航機(jī)重落地分析（Regression Tree)化妝品偏好分析（Classification Tree)窯燒最佳化控制（Neural/GA)大哥大忠誠(chéng)客戶與游離客戶之分析及預(yù)測(cè)（Classification Tree),股市交易最佳化規(guī)則之發(fā)掘,規(guī)則一﹕假如6日RSI小于20且6日BIAS

9、 小于 -4%時(shí)則 買(mǎi)入并持有12日規(guī)則二﹕假如6日RSI 大于 80且6日BIAS 大于 5%時(shí)則 賣出并放空10日,提升Direct Mail回函率,,,寄出信函數(shù)（寄出成本）,回函數(shù),,,,,,,節(jié)省,目標(biāo)營(yíng)銷,大眾營(yíng)銷,預(yù)定目標(biāo),,Segment 1 (Age 43)(42.8%),Segment 2 (Age 42)(24.8%),Segment 3 (Age 52)(20.4%),Segment 4 (Ag

10、e 26)(11.9%),Market SegmentationSegment size, average age,Figure 9.3 Segmentation Results: Segment Size and Average Age,,,,,,population,Segment3,Segmnet1,Segmenet4,Segment2,Target Categories,Avg$spent,3000,200

11、0,2500,1500,1000,500,0,Market Segment AnalysisSegments v..s. Population,Figure 9.4 Market Segmentation Analysis,Safeway 案例,面臨之挑戰(zhàn)8 million transaction data/week (4 T MB)500家店面與600萬(wàn)客戶市場(chǎng)競(jìng)爭(zhēng)激烈，傳統(tǒng)手法技術(shù)式微 （如更低價(jià)位，更多據(jù)點(diǎn)，多類產(chǎn)品）

12、新的競(jìng)爭(zhēng)關(guān)鍵焦點(diǎn)：掌握客戶需要--哪類客戶買(mǎi)哪些商品以及購(gòu)買(mǎi)頻率,Market Basket Analysis (菜籃分析）,,,,CokeMilkJuiceEgg,Coke,Milk,Juice,Egg,Egg,Juice,Milk,Coke,其它相關(guān)應(yīng)用,發(fā)掘背部手術(shù)成敗關(guān)鍵因素磁磚顏色配比決策輔助旋窯燃燒最佳化控制研磨機(jī)鋼球配比及置放址決策輔助電子能量、功率、廢氣流量、氨氣流量組合對(duì)氮氧化物

13、及硫氧化物去除效率之模式發(fā)展污染排放量預(yù)測(cè)模式（DECADES MODEL）燃燒爐中NG、LPG、與正?？諝庵浔葘?duì)燃燒效率及其它有害氣體之排放程度之影響,其它相關(guān)應(yīng)用(續(xù)),發(fā)掘共同基金潛在客戶銀行活期存款賬戶流失率估計(jì)相關(guān)產(chǎn)品群組設(shè)計(jì)（cross-selling）預(yù)測(cè)油田生產(chǎn)量海上石油外溢對(duì)生態(tài)破壞影響之估計(jì)飛機(jī)結(jié)構(gòu)負(fù)載,醫(yī)療案例,DISXPERT - 殘障職業(yè)轉(zhuǎn)介專家系統(tǒng) 區(qū)別分析尋找分類要因數(shù)據(jù)學(xué)習(xí)以萃取分類

14、規(guī)則整合專家規(guī)則與萃取分類規(guī)則延伸應(yīng)用客戶分類,醫(yī)療保險(xiǎn)FAMS的 功 能,偵測(cè) ( Detection )利用fuzzy modeling和統(tǒng)計(jì)技術(shù)來(lái)分析群組的行為，針對(duì)每個(gè)醫(yī)療服務(wù)提供者評(píng)定分?jǐn)?shù)，以反應(yīng)其遍離行為標(biāo)準(zhǔn)的程度調(diào)查 ( Investigation )分析提供者的分?jǐn)?shù)和詳細(xì)的賠償數(shù)據(jù)解決 ( Settlement )詳細(xì)分析群組行為和賠償?shù)膱?bào)告和圖表。報(bào)告可以用來(lái)協(xié)商、解決問(wèn)題和檢舉不法之事 預(yù)防 (

15、Prevention )支持提供者的監(jiān)視和提供新的工具來(lái)評(píng)估和教育他們，改善提供者的行為，以防止醫(yī)療詐欺和濫用，減低保險(xiǎn)公司的損失,FAMS的特性,利用案例數(shù)據(jù)的“retrospective analysis”，分析帳目和醫(yī)療提供者的醫(yī)療工作，以找出有嫌疑的提供者依據(jù)醫(yī)療專業(yè)和地理位置來(lái)定義群組例如，你可以著重于Los Angeles的經(jīng)神科、Hartford的皮膚科、大都會(huì)地區(qū)的緊急救護(hù)服務(wù),建置數(shù)據(jù)剖析應(yīng)注意事項(xiàng),在規(guī)畫(huà)Dat

16、a Warehouse時(shí)即應(yīng)與所需Mining之目標(biāo)結(jié)合配合數(shù)據(jù)處理情況 Data Warehouse --> Data Marts --> Cube 選擇軟硬件發(fā)展平臺(tái)分期或分步驟并以漸進(jìn)式方法開(kāi)發(fā)80%心力需投入于Data Preparation步驟常見(jiàn)之主機(jī)平臺(tái)包括：IBM/390, HP9000, IBM RS-6000, SUN, UNISYS,可能遭遇問(wèn)題之影響因素,企業(yè)教育訓(xùn)練之不足不適當(dāng)之支持工具

17、數(shù)據(jù)之無(wú)效性資料樣型（patterns）太多多變與時(shí)間性數(shù)據(jù)復(fù)雜之?dāng)?shù)據(jù)型態(tài)沒(méi)有現(xiàn)成之模式可立即使用數(shù)據(jù)質(zhì)量資料可取得性專家意見(jiàn),Web/WAP Mining,Dynamic product catalogDynamic bannerDynamic contentTailored mailing list,Data Mining for CRM/Churn Management,Defector identificat

18、ionCampaign promotionMarketing resource allocationRisk assessment & fraud detectionRoyal customer identification,Business Intelligence in Electronic Commerce,,,建議與結(jié)論,以信息科技為主軸之經(jīng)營(yíng)管理數(shù)據(jù)之保存、管理與運(yùn)用為致勝關(guān)鍵善用商業(yè)智慧工具以有效解決問(wèn)題

19、,案例（一）—建物抵押貸款申請(qǐng)?jiān)u估,說(shuō)明：評(píng)估模式針對(duì)五個(gè)輸入變項(xiàng)值給予綜合評(píng)定 分?jǐn)?shù)--1).建造的施工質(zhì)量、 2).建筑物的位置、 3).申貸人的資產(chǎn)、 4).申貸人的收入、 5).利 息支付情況。各個(gè)項(xiàng)目的評(píng)分范圍從0分到 100分?？墒褂弥夹g(shù)：基因算法、決策樹(shù)、類神經(jīng) 網(wǎng)絡(luò)、基因規(guī)劃法,計(jì)分模式結(jié)構(gòu),,案例（二）— DM寄送對(duì)象評(píng)分,說(shuō)明：評(píng)估模式針

20、對(duì)六個(gè)輸入變項(xiàng)值給予綜合評(píng)定 分?jǐn)?shù) -- 1).盈余、2).住家地理位置、 3).房地產(chǎn) 總值、 4).年齡、 5).小孩個(gè)數(shù)、 6).是否結(jié)婚?？墒褂弥夹g(shù)：基因算法、決策樹(shù)、類神經(jīng) 網(wǎng)絡(luò)、基因規(guī)劃法,計(jì)分模式結(jié)構(gòu),,,窯燒最佳穩(wěn)定控制結(jié)果,,x1x2x3x4x5,資料挖掘技術(shù)與發(fā)展,,類神經(jīng)網(wǎng)絡(luò)-監(jiān)督式學(xué)習(xí),類神經(jīng)網(wǎng)絡(luò)-非監(jiān)督式學(xué)習(xí),,,,,,,,模糊規(guī)則庫(kù),Neuro-Fuzzy類

21、神經(jīng)-模糊系統(tǒng),Genetic Algorithm（基因演算）,基因演算原理,GP(基因規(guī)劃）,,GP-Fuzzy基因規(guī)劃-模糊系統(tǒng),案例推理流程,If Time_band >=2.5 yearsand Time_employed >=1.5 yearwhile reject is only 3.2% likely.A total of 63 cases fit this profile,61 accepts

22、 and 2 rejects.,決策樹(shù),過(guò)去相關(guān)R＆D經(jīng)歷,民營(yíng)單位計(jì)劃因特網(wǎng)客戶購(gòu)買(mǎi)行為分析暨預(yù)測(cè)（安瑟在線），2000網(wǎng)頁(yè)瀏覽使用行為分析（發(fā)現(xiàn)者國(guó)際公司），2000大哥大門(mén)號(hào)轉(zhuǎn)換與客戶流失分析(自行研究)，2000網(wǎng)際廣告暨電視廣告采買(mǎi)組合決策輔助系統(tǒng)(潤(rùn)利公司)，1999消費(fèi)者對(duì)化妝品之品牌選擇模式建構(gòu)與分析（資生堂、佳麗寶與香奈兒），1999ISP客戶使用意愿分析因果預(yù)測(cè)模式建構(gòu)(自行研究)，1999信用卡持卡人

23、延滯繳款預(yù)測(cè)模式研究（某國(guó)內(nèi)金融機(jī)構(gòu)）,1999信用卡簽帳金額預(yù)測(cè)（某金融單位），1999保險(xiǎn)產(chǎn)品與客戶選擇分析輔助系統(tǒng)（某保險(xiǎn)經(jīng)濟(jì)人公司），1999醫(yī)院洗腎中心護(hù)理人員排班輔助系統(tǒng)(長(zhǎng)庚醫(yī)院)，1998船席調(diào)配作業(yè)專家決策系統(tǒng)(基隆港務(wù)局)，1998,過(guò)去相關(guān)R＆D經(jīng)歷(續(xù)）,公營(yíng)單位"基因工程算法則應(yīng)用于飛機(jī)結(jié)構(gòu)負(fù)載歷程之分析，" 航發(fā)中心，NSC 89-2623-D-155 -005，1999/7/1

24、~2000/6/31"動(dòng)態(tài)基因規(guī)劃，" 國(guó)科會(huì)， NSC 89-2416-H-155 -015，1999/8/1~2000/7/31"建立區(qū)域整體資源規(guī)劃數(shù)據(jù)庫(kù)先期研究，"臺(tái)灣電力綜合研究所，TAE87001, 1999/1/1~1999/6/31"非破壞檢測(cè)專家系統(tǒng)推理機(jī)構(gòu)之開(kāi)發(fā)，"中科院，NSC88-2623-D-155-003，1998/7/1~1999/6/31

25、"GA-Fuzzy在證券投資之輔助應(yīng)用，"國(guó)科會(huì)，NSC88-2416-H-155-019，1998/8/1~1999/7/31"智能型水泥設(shè)備操作系統(tǒng)之研究," 亞洲水泥公司，CFF87006, 1998/2/1 ~ 1999/1/31"全民健康保險(xiǎn)復(fù)建醫(yī)療費(fèi)用專業(yè)審查一致性之評(píng)估研究," 中央健保局， D0H87-NH-031, 1998/3/1 ~ 1999/2/28

26、,研發(fā)之方法與技術(shù),,,。Genetic Algorithms(基因算法)。Genetic Programming(基因規(guī)劃法)。Neural Networks(類神經(jīng)網(wǎng)絡(luò))。Fuzzy Logic(乏晰理論)。Case-Base Reasoning(案例庫(kù)推理)。Rule-Based System(專家規(guī)則)。Genetic-Based Decision Tree System(決策樹(shù)專家系統(tǒng)),軟件資源（智能型系統(tǒng)實(shí)驗(yàn)室

27、）,Rule-Base packagesLEVEL5XpertRuleProfilerWinRosaGA packagesEvolverGeneHunterGeneratorCBR packagesInduce ITEsteemFuzzy Logic packagesFuzzyTech for BusinessCubiCalcFuzzy Thought Amplifier,Neural Net packag

28、esLabView & Intelligent DataEngineNeuroShell IINeuroForecasterNeuroWindowsNon-Linear Modeling packagePCNonlinDymaic-GPDecision Trees packageGA-TreeSee5/CubistOptimization & SimulationRiskOptimizer@Ri