離群檢測及離群釋義空間查找算法研究.pdf

1、數(shù)據(jù)集中的離群點是指那些偏離常規(guī)數(shù)據(jù)對象的數(shù)據(jù)點，它們表現(xiàn)為與常規(guī)數(shù)據(jù)的產(chǎn)生機(jī)制完全不同。離群點可能蘊(yùn)含著重要的信息，如在信用卡欺詐行為、通信盜用行為、網(wǎng)絡(luò)入侵行為等領(lǐng)域中離群點是數(shù)據(jù)分析的主要對象；在疾病診斷、天文觀察等研究領(lǐng)域，離群對象可能給予我們新的視角，導(dǎo)致新理論或新應(yīng)用的出現(xiàn)。離群挖掘就是利用統(tǒng)計學(xué)、機(jī)器學(xué)習(xí)、智能計算、可視化等技術(shù)來發(fā)現(xiàn)數(shù)據(jù)集中的離群點，供用戶進(jìn)行分析和研究。
　　離群挖掘具有重要的學(xué)術(shù)意義和廣泛的應(yīng)用

2、前景。面對日益復(fù)雜的大型高維數(shù)據(jù)集，如何迅速有效地發(fā)現(xiàn)并處理異常行為是一個具有挑戰(zhàn)性的問題。
　　聚類結(jié)構(gòu)是數(shù)據(jù)在形成過程中所體現(xiàn)出來的一種常見形式，數(shù)據(jù)不同類別之間具有較明顯的特征差異。與傳統(tǒng)的聚類算法相比，譜聚類具有能在任意形狀的樣本空間上聚類，且收斂于全局最優(yōu)解的特點，因此近年來得到了廣泛應(yīng)用。
　　云模型是在概率論和模糊數(shù)學(xué)理論兩者的基礎(chǔ)之上形成的定性概念和其定量表示之間相互轉(zhuǎn)換的模型。其中的正態(tài)云模型將實際應(yīng)用中不

3、符合正態(tài)分布嚴(yán)格定義的分布納入泛正態(tài)分布的范疇。
　　數(shù)據(jù)集中的離群點之所以會有離群行為的產(chǎn)生，是因為體現(xiàn)該離群點的各個屬性字段或者屬性字段的組合的取值和常規(guī)數(shù)據(jù)不同。在檢測到這些離群點之后，分析其離群的行為以及對其離群行為作出解釋，不僅有助于加深我們對數(shù)據(jù)集的理解，還可以幫助我們提高在新產(chǎn)生的數(shù)據(jù)集上檢測離群數(shù)據(jù)的效果和效率。
　　本論文將譜聚類方法和云模型理論用于發(fā)現(xiàn)數(shù)據(jù)集中的離群點，同時對離群點的離群行為進(jìn)行分析和解釋

4、。主要研究工作和成果如下：
　?。?）針對復(fù)雜數(shù)據(jù)集的聚類問題，提出一種改進(jìn)的譜聚類算法。該算法引入與密度有關(guān)的自適應(yīng)鄰居規(guī)模參數(shù)更精確地計算對象間的相似性，實現(xiàn)更精確的聚類?；谠撍惴ǐ@得的穩(wěn)定聚類能夠有效地檢測離群點。
　　（2）提出一種基于譜聚類的數(shù)據(jù)集聚類分析與離群檢測算法。該算法通過計算不同聚類數(shù)目下的動態(tài)有效性指標(biāo)來自動確定數(shù)據(jù)集的最優(yōu)聚類數(shù)，然后計算“小聚類”的成員的局部離群因子，并根據(jù)該局部離群因子確定該成員

5、是否是離群點。
　?。?）將云模型中云滴對于云模型的隸屬度概念與數(shù)據(jù)點在數(shù)據(jù)集中的離群度相結(jié)合，提出一種基于云模型的離群數(shù)據(jù)檢測算法。該算法首先計算數(shù)據(jù)對象在各個屬性字段上的離群度，再計算數(shù)據(jù)對象在全屬性集上的離群度，最后根據(jù)離群度的大小查找出數(shù)據(jù)集中的離群數(shù)據(jù)。
　?。?）針對當(dāng)前離群挖掘主要集中于如何檢測離群點，而忽視了對離群點產(chǎn)生原因和離群行為的分析，論文提出一種查找離群點的離群行為子空間和關(guān)鍵離群行為子空間的算法。引