基于距離的離群點檢測算法分析與研究.pdf

1、基于距離的離群點檢測算法分析與研究重慶大學碩士學位論文學生姓名：王震指導老師：朱慶生教授專業(yè)：計算機軟件與理論學科門類：工學重慶大學計算機學院二O一一年四月重慶大學碩士學位論文中文摘要I摘要離群點檢測作為數(shù)據(jù)挖掘領域研究的重要組成部分，致力于發(fā)掘龐大信息集合中所占比例極小的一部分特殊數(shù)據(jù)。這小部分特殊數(shù)據(jù)由于具有明顯的不同于其他數(shù)據(jù)的離群特征，往往蘊含著真實卻又出乎意料的現(xiàn)實意義或知識價值。因此，離群點檢測被廣泛的應用于入侵檢測、信用欺

2、詐、故障診斷等領域。為了更好的檢測到信息集合中的離群信息，研究人員設計開發(fā)了許多不同的離群點檢測算法，其中基于距離的離群點檢測算法可以靈活的制定距離函數(shù)、有效的獲得離群點信息，具有重大的理論意義與實用價值。然而目前的研究在實際應用過程中還存在著一些不足，如初始參數(shù)的選取需要通過經(jīng)驗獲取，算法在高維、大數(shù)據(jù)集上的運行效率等。本文針對現(xiàn)有的基于距離的離群點檢測算法的不足，圍繞無監(jiān)督初始參數(shù)的獲取與提高算法的運行效率等關鍵問題進行了研究與實驗

3、，提出了基于粗粒度單元的離群點檢測算法，通過使用粗粒度單元對數(shù)據(jù)集進行剪枝，從而提升基于距離的離群點檢測的效率；同時結(jié)合KNN算法思想給出了一種距離參數(shù)的參考值的獲得算法，從而簡化了獲得有效利群信息的收斂過程。主要研究成果包括：①研究了數(shù)據(jù)挖掘的現(xiàn)狀與過程、離群點檢測的意義，全面分析了現(xiàn)有的離群點檢測算法，對比了常用的離群點檢測算法的優(yōu)缺點、適用范圍。②介紹了數(shù)據(jù)預處理技術(shù)，重點對數(shù)據(jù)清理、數(shù)據(jù)集成與變換、數(shù)據(jù)規(guī)約的方法進行了分析；同時

4、對降維技術(shù)進行了概述，從特征選擇與特征變換兩個方面介紹了現(xiàn)有的理論和方法。③在經(jīng)典的基于單元的離群點檢測算法基礎上，提出了一種改進的基于粗粒度單元的離群點挖掘算法，通過擴大單元粒度來減少算法的時間與空間復雜度，并通過實驗驗證了其優(yōu)于原算法。④結(jié)合KNN算法思想，提出了一種應用于基于距離的離群點檢測的距離參數(shù)參考值的選取算法，通過計算獲得較為合理的距離參數(shù)初始值，從而降低離群點檢測過程中的人工監(jiān)督程度以及知識發(fā)現(xiàn)的收斂過程。論文的實驗使用