離群檢測無參化與復(fù)雜流形聚類算法研究.pdf

1、數(shù)據(jù)挖掘是在大量的數(shù)據(jù)中提取出人們可理解的、存在潛價值的知識、模式、規(guī)則或規(guī)律的過程。離群檢測與聚類分析是數(shù)據(jù)挖掘領(lǐng)域中研究非常熱門的兩個研究課題。這兩個課題相關(guān)的概念、技術(shù)以及應(yīng)用都已發(fā)展得比較成熟。但隨著現(xiàn)實生活、網(wǎng)絡(luò)等產(chǎn)生的數(shù)據(jù)量、數(shù)據(jù)維度、數(shù)據(jù)種類等劇增，導(dǎo)致數(shù)據(jù)復(fù)雜度的不斷提高，使得離群檢測分析和聚類分析存在的一些未能解決的難題浮出水面，從而對離群檢測和聚類分析提出了新的挑戰(zhàn)。本課題希望通過對離群檢測和聚類分析的基礎(chǔ)理論和算法

2、的研究，從而達到對離群檢測和聚類分析進行豐富發(fā)展的目的，同時解決離群檢測和聚類分析已有研究和應(yīng)用中存在的一些難題。
　　本論文將自然鄰居的概念引入到離群點檢測中，利用自然鄰居的無參特性提出了無需參數(shù) k值的離群點檢測算法，解決了現(xiàn)有離群點檢測算法需要參數(shù) k并對 k值敏感的問題。離群點檢測分析是數(shù)據(jù)挖掘中排除潛在威脅或發(fā)現(xiàn)新機制的非常重要的手段。在實際應(yīng)用中，離群點檢測分析已被應(yīng)用到多個領(lǐng)域，例如欺詐檢測等。因此，論文對離群點檢測

3、分析現(xiàn)狀進行研究分析，基于距離和基于密度的離群點檢測算法是最常用的離群檢測算法，然而和大多數(shù)離群點檢測算法一樣，都需要設(shè)置鄰域參數(shù) k的值。基于距離的離群點檢測算法需要參數(shù) k值來計算k距離，基于密度的離群點檢測算法需要參數(shù)k值來計算每個數(shù)據(jù)對象的密度。如若 k值設(shè)置得不合適就有可能導(dǎo)致離群點檢測失敗。實驗結(jié)果不僅證明了被提出算法的有效性，同時也說明了自然鄰居得到的自然值，不但適用于本文提出的算法，還適用于LOF和INS算法。
　

4、　本文提出了無需參數(shù) Top-n的離群簇檢測算法解決了離群簇檢測難和所需參數(shù)多的問題。離群檢測包括離群點檢測和離群簇檢測。離群簇檢測出來的結(jié)果包括了數(shù)據(jù)集中離群點之間的簇結(jié)構(gòu)等關(guān)聯(lián)信息，更方便研究者對其做更進一步的研究。所以，相對離群點檢測而言，離群簇檢測更具有實用性，更有發(fā)展前景。現(xiàn)有離群簇檢測算法基本都是基于聚類的離群檢測算法，而且沒有專門服務(wù)于離群簇檢測的聚類算法。且現(xiàn)有基于聚類的離群簇檢測算法存在著參數(shù)多難以設(shè)置等問題。首先基于

5、互為鄰域圖提出了專門用于離群簇檢測且僅需一個參數(shù)的粗糙聚類算法，從而解決了用于離群簇檢測的聚類算法參數(shù)多的問題。然后基于上述提出的粗糙聚類算法得到的粗糙聚類結(jié)果計算每個簇的相對簇離群度，并構(gòu)造出離群簇決策圖；最后通過離群簇決策圖檢測出數(shù)據(jù)集中的離群簇，所以離群簇檢測時無需參數(shù)Top-n。通過在人工數(shù)據(jù)集和真實數(shù)據(jù)集上的實驗驗證了提出算法的有效性，同時證明了此算法求得的數(shù)據(jù)離群率非常接近數(shù)據(jù)集的真實離群率。
　　本論文提出了基于準核

6、心點的復(fù)雜流形聚類算法解決了復(fù)雜流形聚類難的問題，同時算法引入了新的密度衡量標(biāo)準，解決了稀疏密度簇難發(fā)現(xiàn)的問題，并且該算法對所需參數(shù)具有魯棒性。聚類分析是數(shù)據(jù)挖掘中發(fā)現(xiàn)數(shù)據(jù)集中數(shù)據(jù)分布規(guī)律，對數(shù)據(jù)進行歸納分析的重要手段。論文對聚類分析的現(xiàn)狀進行了概括分析，并指出了現(xiàn)有聚類算法對參數(shù)敏感、對具有復(fù)雜流形數(shù)據(jù)聚類難等問題。同時，現(xiàn)有基于密度或基于中心等聚類算法對數(shù)據(jù)密度的衡量標(biāo)準存在一個問題，那就是簇與簇之間密度較大，有可能導(dǎo)致稀疏類被當(dāng)作