基于網(wǎng)格劃分的高維大數(shù)據(jù)集離群點(diǎn)檢測算法研究.pdf

1、近些年來，隨著科學(xué)技術(shù)與計(jì)算機(jī)技術(shù)的飛速發(fā)展，數(shù)據(jù)挖掘技術(shù)得到了快速的發(fā)展并運(yùn)用于各個(gè)領(lǐng)域。聚類分析與離群點(diǎn)檢測技術(shù)是數(shù)據(jù)挖掘技術(shù)中最重要的兩個(gè)方面。離群點(diǎn)檢測是數(shù)據(jù)挖掘知識發(fā)現(xiàn)中一項(xiàng)重要研究領(lǐng)域，如電子商務(wù)中的欺詐行為監(jiān)測，網(wǎng)絡(luò)攻擊異常檢測等。所謂離群點(diǎn)，即數(shù)據(jù)集中偏離正常行為的點(diǎn)對象，離群點(diǎn)檢測過程即在原始數(shù)據(jù)集中尋找“異常模式”的過程。離群點(diǎn)檢測技術(shù)最早運(yùn)用于統(tǒng)計(jì)領(lǐng)域，即基于統(tǒng)計(jì)分布的離群點(diǎn)檢測。隨后專家學(xué)者們提出了基于距離的方法

2、，基于密度的方法，基于偏差的方法等多種經(jīng)典的離群點(diǎn)檢測方法，這些方法在一定程度上能檢測出適用本身算法的離群點(diǎn)，但均存在著一定的缺陷與不足，如依賴于用戶預(yù)先設(shè)置的參數(shù)，檢測效率與檢測精度低等。高維空間與大數(shù)據(jù)集中離群點(diǎn)檢測是離群點(diǎn)發(fā)現(xiàn)領(lǐng)域中非常重要的一個(gè)領(lǐng)域，近來受到了廣泛關(guān)注。但由于高維空間中數(shù)據(jù)集存在數(shù)據(jù)分布稀疏，屬性維度高等特性，導(dǎo)致傳統(tǒng)離群點(diǎn)檢測方法不再有效。如何尋找適用高維空間與大數(shù)據(jù)集中離群點(diǎn)發(fā)現(xiàn)方法是當(dāng)前高維空間離群點(diǎn)檢測領(lǐng)

3、域面臨的一大難題。針對以上問題，本文主要對高維空間與大數(shù)據(jù)集中離群點(diǎn)檢測方法進(jìn)行了研究。
　　 本文首先對離群點(diǎn)檢測方法進(jìn)行了分析與研究，重點(diǎn)闡述了基于統(tǒng)計(jì)的，基于距離的，基于密度的與基于偏差的四種傳統(tǒng)離群點(diǎn)檢測方法，并對各自算法存在的問題進(jìn)行了分析與比較；接著對高維空間與大數(shù)據(jù)集特性進(jìn)行了分析與研究，重點(diǎn)闡述了高維空間與大數(shù)據(jù)集上數(shù)據(jù)挖掘的方法與特點(diǎn)；針對傳統(tǒng)離群點(diǎn)檢測方法在高維空間大數(shù)據(jù)集離群點(diǎn)發(fā)現(xiàn)存在的問題，本文提出了一種