基于密度的局部離群點(diǎn)挖掘算法研究.pdf

1、離群點(diǎn)挖掘作為數(shù)據(jù)挖掘的重要組成部分,能夠從大量復(fù)雜的數(shù)據(jù)中找到小部分與其他數(shù)據(jù)相比最不一致、顯著異常的數(shù)據(jù)點(diǎn),這些異常點(diǎn)往往包含著非常重要的信息。本文通過研究現(xiàn)有的離群點(diǎn)挖掘算法以及目前國(guó)內(nèi)外在離群點(diǎn)挖掘工作上的進(jìn)展情況,針對(duì)離群點(diǎn)挖掘的熱點(diǎn)問題,分別在大規(guī)模高維數(shù)據(jù)和空間數(shù)據(jù)這兩個(gè)離群點(diǎn)挖掘研究熱點(diǎn)上,提出了基于聚類約減的局部離群點(diǎn)檢測(cè)算法和基于Voinoroi圖的局部加權(quán)空間離群點(diǎn)挖掘算法。
　　 在大規(guī)模高維數(shù)據(jù)集上,由

2、于LOF算法需要反復(fù)遍歷數(shù)據(jù)庫(kù)計(jì)算所有點(diǎn)的鄰域,時(shí)間復(fù)雜度非常高,本文提出一種改進(jìn)的離群點(diǎn)挖掘算法。算法使用核K-means聚類將數(shù)據(jù)點(diǎn)映射到高維核空間中,通過高維核空間突出了樣本之間的差異,選取數(shù)據(jù)集內(nèi)真實(shí)的點(diǎn)代替均值點(diǎn),從而減小離群點(diǎn)的干擾。最后對(duì)劃分好的數(shù)據(jù)簇,通過度量函數(shù)判斷數(shù)據(jù)簇內(nèi)點(diǎn)的分布情況,選出離群點(diǎn)候選集,僅對(duì)該候選集內(nèi)的點(diǎn)進(jìn)行局部離群點(diǎn)挖掘。基于核K-means聚類的離群點(diǎn)檢測(cè)算法約減了參與計(jì)算的數(shù)據(jù)點(diǎn),從而降低了執(zhí)行

3、時(shí)間。
　　 在空間數(shù)據(jù)挖掘中,由于空間數(shù)據(jù)具有自相關(guān)性和空間異質(zhì)性,因此,傳統(tǒng)的離群點(diǎn)挖掘方法在空間領(lǐng)域內(nèi)挖掘效果并不理想。本文根據(jù)空間離群點(diǎn)挖掘的現(xiàn)有問題,提出了基于Voronoi圖的局部加權(quán)空間離群點(diǎn)挖掘算法,該方法將空間數(shù)據(jù)的屬性劃分為空間屬性和非空間屬性,通過空間屬性確定空間數(shù)據(jù)的鄰域,解決了數(shù)據(jù)的自相關(guān)性;通過計(jì)算對(duì)象的局部離群因子,解決空間數(shù)據(jù)的異質(zhì)性。使用Voronoi圖查找數(shù)據(jù)對(duì)象的鄰域能夠?qū)r(shí)間復(fù)雜度降低到O