基于投影的高維數據異常檢測研究.pdf

1、數據挖掘是從大量的數據集中提取隱含的、未知的、潛在有用的知識的過程。異常檢測是數據挖掘中一個非常重要的分支，能發(fā)現隱含在數據集中的小模式，這種小模式常常隱含著重要信息，在很多應用領域有重要的研究價值。如電信和信用卡交易中的詐騙檢測、天氣預報中的災害預報、網絡訪問中的入侵檢測等。 在實際應用中經常會碰到高維數據，如交易數據、文檔詞頻數據等，因此加強對高維數據挖掘的研究有著非常重要的意義。但由于高維數據的特殊性，如隨著數據維數的升高

2、，高維索引結構的性能迅速下降；由于高維數據的稀疏性，采用LP距離作為數據之間的相似性度量，在很多情況下這種相似性的概念已不復存在等等，這些都給高維數據挖掘帶來了極大的困難。 很多常規(guī)聚類算法雖然能進行異常檢測，但僅僅將異常點作為聚類的副產品。近幾年，出現了一些專門的異常檢測算法，在理論上和算法應用上有一定的突破，但主要針對低維數值型數據集的研究。現實世界中，很多數據集具有內在高維特性，使得這些算法檢測性能急劇下降，而且算法對異常

3、點的解釋相對滯后。 本文針對目前主流的異常檢測算法存在的問題，對異常檢測技術進行了深入研究，指出了這些算法在高維數據集應用上存在的缺陷，并基于投影思想和頻繁項集的概念，提出了一種新的異常檢測算法OHDHMAP，該算法不僅能較好地解決高維數據集的稀疏性問題，也能將數據集的類型從數值型擴展到混合型，并且能對異常點作出一定的解釋，有利于區(qū)分異常點和噪聲。實驗表明，該算法具有較好的檢測性能。 本論文針對對異常挖掘的研究，對高維數