高維孤立點檢測算法研究.pdf

1、孤立點檢測是數(shù)據(jù)挖掘的一個重要方面，因其獨特的知識發(fā)現(xiàn)功能而得到較為深入的研究。孤立點檢測算法已經(jīng)在金融欺詐檢測、網(wǎng)絡(luò)入侵檢測、生態(tài)系統(tǒng)失調(diào)、天氣預報等風險控制領(lǐng)域得到了廣泛的應用。但隨著應用范圍的不斷擴大，傳統(tǒng)的孤立點檢測算法遇到了一些難以克服的障礙，算法效率不能適應大規(guī)模數(shù)據(jù)處理，算法的參數(shù)難以選擇造成檢測結(jié)果不穩(wěn)定，算法不能適應高維數(shù)據(jù)的特性等。論文主要針對以上問題對孤立點檢測技術(shù)進行了研究。 論文首先詳細介紹了傳統(tǒng)的孤立

2、點檢測算法，并對它們進行了比較和分析，指出它們的不足之處，在此基礎(chǔ)上提出基于平均密度的孤立點檢測算法(ADOD)，以減少用戶對參數(shù)選擇的困難；其次，為了解決高維數(shù)據(jù)對孤立點檢測帶來的困難，先提出基于有限比較的最大頻繁項目集挖掘算法(LCMFI)，再利用LCMFI算法對基于頻繁模式的孤立點檢測算法(FindFPOF)進行改進，提出基于加權(quán)最大頻繁模式的孤立點檢測算法(FindWMFPOF)，該算法以最大頻繁模式代替頻繁模式計算頻繁孤立因子

3、(FPOF)，降低了算法的運算規(guī)模，具有良好的檢測效果。 論文主要工作如下： 1.對現(xiàn)有的孤立點檢測算法進行了分析，指出它們共同存在的不足：算法對參數(shù)的選擇缺乏自動化。 2.提出基于平均密度的孤立點檢測算法(ADOD)。用平均密度的概念重新定義孤立點度量，以一個新的視點來檢測孤立點，并用實驗驗證ADOD算法有效性，不僅能在孤立點檢測時減少用戶對參數(shù)選擇的困難，而且具有較好的檢測效果。 3.分析了高維數(shù)據(jù)的

4、特點及其對傳統(tǒng)孤立點檢測方法的影響。比較和分析了現(xiàn)有高維孤立點檢測算法，指出它們在算法效率上存在的不足。 4.提出基于有限比較的最大頻繁項目集挖掘算法(LCMFI)，給出了相關(guān)定義和定理，并對算法的運行效率作了詳細地分析和證明，LCMFI算法挖掘2-最大頻繁項目集的時間復雜度為O(m·n2)。該算法的提出為改進FindFPOF算法提供了理論基礎(chǔ)。 5.提出基于加權(quán)最大頻繁模式的孤立點檢測算法(FindWMFPOF)。該算