K-Means算法在客戶細(xì)分中的應(yīng)用研究.pdf

1、無論是金融行業(yè)，還是電信行業(yè)，日益激烈的競(jìng)爭(zhēng)使企業(yè)認(rèn)識(shí)到客戶是他們真正的資產(chǎn)，主要工作也都是圍繞保留現(xiàn)有客戶和發(fā)展新客戶展開，營銷方式也從大眾化營銷轉(zhuǎn)為通過差異化、一對(duì)一營銷來實(shí)現(xiàn)客戶滿意和公司獲利的雙贏，而差異化、一對(duì)一營銷的關(guān)鍵就是有效的客戶細(xì)分?？蛻艏?xì)分的關(guān)鍵問題就是找出客戶的特征，通過一些統(tǒng)計(jì)分析方法可以將客戶隱藏在數(shù)據(jù)中的特征挖掘出來，從而進(jìn)行分類。 傳統(tǒng)意義上，客戶細(xì)分往往根據(jù)客戶的一維屬性來進(jìn)行，如金融行業(yè)根據(jù)客戶

2、資產(chǎn)多少，可以將客戶分為高、中、低端客戶，該細(xì)分方法最大的優(yōu)點(diǎn)是簡(jiǎn)單，可以方便地根據(jù)營銷資源預(yù)算，取舍營銷活動(dòng)中的目標(biāo)群體，在實(shí)踐中簡(jiǎn)便易行。但是，隨著技術(shù)的進(jìn)步與客戶需求的日趨多樣化，以及企業(yè)產(chǎn)品的不斷創(chuàng)新，傳統(tǒng)的客戶細(xì)分方法顯現(xiàn)出了明顯的缺點(diǎn)，即使同是高端客戶，客戶對(duì)同一產(chǎn)品或服務(wù)的需求也存在著明顯差別，客戶對(duì)產(chǎn)品或服務(wù)的要求日趨理性和嚴(yán)格，這種傳統(tǒng)的基于一維的客戶細(xì)分在實(shí)踐中的應(yīng)用顯得力不從心。需要一種新的細(xì)分方法，能夠?qū)崿F(xiàn)：客觀

3、反映客戶分組內(nèi)在的特性；綜合反映客戶多方面的特征；有利于營銷人員更加深入細(xì)致地了解客戶特征；便于實(shí)現(xiàn)對(duì)客戶行為變化的動(dòng)態(tài)跟蹤。這就需要用幾十個(gè)，甚至上百個(gè)變量從而對(duì)客戶進(jìn)行更為精確的描述，在此基礎(chǔ)上對(duì)客戶進(jìn)行更為精確的細(xì)分，因而，用于解決多變量的、大數(shù)據(jù)量的客戶細(xì)分的數(shù)據(jù)挖掘技術(shù)也就應(yīng)運(yùn)而生了。 客戶細(xì)分通常用聚類分析方法來實(shí)現(xiàn)，其中K-Means算法是實(shí)踐中最為常用的數(shù)據(jù)挖掘算法之一，在處理大數(shù)據(jù)量方面有絕對(duì)優(yōu)勢(shì)，而且可以取得

4、較好的效果。 在客戶細(xì)分中，圍繞K-Means聚類，如何依據(jù)通用的數(shù)據(jù)挖掘方法論，有針對(duì)性地將K-Means應(yīng)用于客戶數(shù)據(jù)建模中，對(duì)這些問題的實(shí)證研究在國內(nèi)尚個(gè)多見。因此，從數(shù)據(jù)挖掘建模的角度，對(duì)用K-Means算法對(duì)客戶進(jìn)行聚類的問題進(jìn)行理論分析和實(shí)證研究，具有一定的現(xiàn)實(shí)意義。 本文第一章主要闡述客戶細(xì)分的研究背景，并說明研究的動(dòng)機(jī)與目的以及本文研究的步驟。 本文第二章對(duì)實(shí)現(xiàn)客戶細(xì)分的相關(guān)技術(shù)理論進(jìn)行了總結(jié)和回

5、顧。利用數(shù)據(jù)挖掘方法進(jìn)行客戶細(xì)分一個(gè)關(guān)鍵的問題就是客戶細(xì)分方法論，在參閱大量國內(nèi)外理論研究和實(shí)踐文獻(xiàn)的基礎(chǔ)上，歸納總結(jié)了客戶細(xì)分方法論，作為后續(xù)研究的基礎(chǔ)。 客戶細(xì)分通常用聚類分析方法來實(shí)現(xiàn)，在闡述了聚類分析相關(guān)概念如距離、數(shù)據(jù)矩陣、變量標(biāo)準(zhǔn)化等基礎(chǔ)上，重點(diǎn)分析了K-Means聚類的優(yōu)點(diǎn)和缺點(diǎn)。K-Means聚類是一種優(yōu)化聚類算法，運(yùn)算速度快，適宜處理大數(shù)據(jù)，但是聚類結(jié)果與變量的量綱、異常值的處理方式、變量的維度、觀測(cè)的順序以及

6、K個(gè)初始凝聚點(diǎn)的選擇等都有很大的關(guān)系，本章著重對(duì)影響K-Means聚類結(jié)果的因素尤其是初始凝聚點(diǎn)的選擇方法進(jìn)行了理論上的分析和總結(jié)，也對(duì)K-Means聚類在實(shí)際中應(yīng)用狀況進(jìn)行了文獻(xiàn)回顧和探討。 聚類結(jié)果對(duì)實(shí)際是否有意義，需要對(duì)結(jié)果從技術(shù)和業(yè)務(wù)兩個(gè)方面進(jìn)行評(píng)估，本章對(duì)聚類結(jié)果好壞的評(píng)價(jià)標(biāo)準(zhǔn)進(jìn)行了探討。K-Means算法對(duì)高維數(shù)據(jù)的聚類效果較差，本文引進(jìn)用主成分分析方法對(duì)高維數(shù)據(jù)進(jìn)行降維。 本文第三章，實(shí)證分析架構(gòu)設(shè)計(jì)，也就

7、是本論文實(shí)證研究方法。CRISP-DM(Gross-Industry Standard Process for Data Mining)是公認(rèn)的、較有影響的數(shù)據(jù)挖掘方法論之一。SEMMA是SAS公司對(duì)其數(shù)據(jù)挖掘軟件EnterpriseMiner提出來的一種對(duì)數(shù)據(jù)挖掘?qū)嵤┖诵倪^程的描述。本文在研究CRISP-DM以及SAS SEMMA的基礎(chǔ)上，結(jié)合實(shí)際情況設(shè)計(jì)本研究的實(shí)證分析流程，探索利用K-Means聚類進(jìn)行客戶細(xì)分的一般數(shù)據(jù)挖掘流程和

8、方法。 本文第四章在某銀行客戶數(shù)據(jù)的基礎(chǔ)上，借助SAS/STAT、EM所提供的統(tǒng)計(jì)分析和數(shù)據(jù)挖掘方法，圍繞認(rèn)識(shí)和理解客戶的目標(biāo)，主要利用K-Means算法對(duì)客戶數(shù)據(jù)進(jìn)行實(shí)證分析，探索K-Means聚類用于客戶細(xì)分的主要過程和一般分析方法。 本章共對(duì)比了實(shí)踐中比較常用的八種選擇初始凝聚點(diǎn)的方法，對(duì)他們的聚類結(jié)果進(jìn)行了對(duì)比分析，并給出方法實(shí)現(xiàn)的SAS代碼。這八種方法共分為兩種類別：合成初始凝聚點(diǎn)的方法；實(shí)際觀測(cè)點(diǎn)作為初始凝聚

9、點(diǎn)的方法。前者如用初始聚類的質(zhì)心作為聚類的初始凝聚點(diǎn)(Random centriods)、爬行中點(diǎn)法(Scrambled midpoint)、爬行中位數(shù)法(Scrarabled median)、非爬行中點(diǎn)法(Unscrambled midpoint)，后者如利用SAS默認(rèn)的兩種限制凝聚點(diǎn)替代的方法進(jìn)行種子選擇(記為Replace full)、完全隨機(jī)法(Random)、拆分法(Breakup)、對(duì)每個(gè)觀測(cè)的所有變量值求和(Feature

10、 Value Sums)。 通過分析證實(shí)，合成初始凝聚點(diǎn)聚類結(jié)果整體上要優(yōu)于實(shí)際觀測(cè)點(diǎn)作為初始凝聚點(diǎn)，因?yàn)楹铣沙跏寄埸c(diǎn)的代表性比實(shí)際的觀測(cè)點(diǎn)要高；在聚類個(gè)數(shù)K相等的情況下，任何一種選擇初始凝聚點(diǎn)的方法，隨著試驗(yàn)次數(shù)的增加，所有試驗(yàn)次數(shù)中誤差平方和的最小值越來越小，類內(nèi)的同質(zhì)性越來越大，說明用K-Means算法進(jìn)行聚類，同一方法改變初始凝聚點(diǎn)組合多次運(yùn)行，并取最優(yōu)結(jié)果的必要性。 為了驗(yàn)證K-Means算法聚類的有效性，本

11、文用神經(jīng)網(wǎng)絡(luò)方法SOM(Self-Organized Map)對(duì)同樣的客戶數(shù)據(jù)進(jìn)行聚類，結(jié)果發(fā)現(xiàn)兩種模型的一致性很高，說明K-Means聚類結(jié)果是穩(wěn)定的、有效的。并用判別分析方法進(jìn)一步評(píng)估了分群的穩(wěn)定性。 最后對(duì)細(xì)分結(jié)果解釋和模型部署以及模型應(yīng)用方面應(yīng)注意的問題進(jìn)行了簡(jiǎn)單闡述。 本文第五章為研究結(jié)論。通過實(shí)證分析發(fā)現(xiàn)，用K-Means算法對(duì)客戶進(jìn)行聚類需要重復(fù)多次運(yùn)行以取得較為理想的結(jié)果。由于數(shù)據(jù)挖掘的實(shí)踐性較強(qiáng)，很多具

12、體的問題需要實(shí)踐中去總結(jié)，比如對(duì)客戶進(jìn)行聚類，究竟利用過去三個(gè)月、六個(gè)月還是十二個(gè)月的數(shù)據(jù)并沒有理論做支撐，主要還得看細(xì)分的效果。本文在最后指出了本研究的貢獻(xiàn)和不足，并給出了用K-Meatls算法進(jìn)行客戶細(xì)分后續(xù)研究的方向。 本文的主要貢獻(xiàn)及創(chuàng)新之處在于： 1)從寫作思路上來看。近年來，數(shù)據(jù)挖掘綜述方面的文章比較多，但是寫數(shù)據(jù)挖掘具體實(shí)施的實(shí)證研究論文不多見，是本研究的一個(gè)有益嘗試；目前利用K-Means算法進(jìn)行聚類實(shí)證

13、研究的文章，大多對(duì)如何利用K-Means分析的不夠深入，也沒有K-Means算法進(jìn)行實(shí)證分析的詳細(xì)過程，對(duì)細(xì)分后如何解釋類和導(dǎo)出應(yīng)用策略研究的較多，也就是重“業(yè)務(wù)分析”輕“理論技術(shù)”，但是，運(yùn)用得當(dāng)?shù)募夹g(shù)可以使細(xì)分后的群體同質(zhì)性更高，也更利于結(jié)果的解釋，因此本文走的是重“技術(shù)思路”輕“業(yè)務(wù)分析”的路線，用實(shí)際數(shù)據(jù)來探索利用K-Means算法進(jìn)行客戶細(xì)分的數(shù)據(jù)挖掘流程。 2)從方法處理的角度來看?；赟AS的K-Means聚類實(shí)證

14、研究不多，本文給出了利用SAS進(jìn)行K-Means聚類，選擇初始凝聚點(diǎn)常用的八種方法的SAS代碼，有一定的實(shí)踐參考價(jià)值；用SAS/EM的神經(jīng)網(wǎng)絡(luò)方法(Self-Organized Map)和判別分析方法對(duì)K-Means聚類所得到的結(jié)果進(jìn)行驗(yàn)證，說明K-Means聚類結(jié)果的有效性和穩(wěn)定性； 3)從K-Means方法的應(yīng)用理念角度來看。國內(nèi)的實(shí)證研究文章大多數(shù)提到了K-Means是一種局部最優(yōu)算法，但是并沒有指出在現(xiàn)有可利用的工具軟件

15、下，如何改善局部最優(yōu)的困境。本文經(jīng)過分析指出，對(duì)于K-Means聚類結(jié)果的技術(shù)評(píng)價(jià)不以算法收斂為準(zhǔn)則，而是取通過選取不同初始凝聚點(diǎn)組合多次運(yùn)行所達(dá)到的最小類內(nèi)殘差平方和(SSE)所對(duì)應(yīng)的那個(gè)聚類結(jié)果為最終結(jié)果，可以有效地改善局部最優(yōu)的狀況；K-Means聚類的結(jié)果與初始凝聚點(diǎn)選取有很大的關(guān)系，本文首次提出無論哪種選擇初始凝聚點(diǎn)的方法，只要選擇多種初始凝聚點(diǎn)組合方案進(jìn)行實(shí)驗(yàn)，均可以取得較為理想的結(jié)果，而且為改善局部最優(yōu)的狀況必須選擇不同的