混合屬性數(shù)據(jù)集異常檢測新方法.pdf

1、在自然界、人類社會和數(shù)據(jù)集等領(lǐng)域中,存在著許多不平凡的時間或?qū)ο?這些不尋常的事件或?qū)ο缶哂蟹欠驳闹匾?有可能導致發(fā)現(xiàn)新的信息和知識。這些頗有價值的信息和知識沒有得到充分的開發(fā)和利用,這就迫切要求人們采取有效的措施對異常所隱含的知識進行挖掘,從而獲取有用的信息和知識,異常挖掘技術(shù)就應運而生了。隨著異常檢測研究的不斷發(fā)展,提出了很多的不同應用領(lǐng)域的算法,但這些算法在參數(shù)自動化、處理混合屬性數(shù)據(jù)集差異性度量和閾值設(shè)定上存在一定的問題,影響

2、了算法的準確率和效率。
　　 本文從差異性度量和異常因子兩個方面加以改進,提出了一種基于混合屬性的局部密度異常檢測方法。對于混合屬性差異性度量,采用對數(shù)值屬性和分類屬性分別處理其差異性,最后進行組合。數(shù)值屬性的差異性度量采用歐幾里德距離公式,分類屬性差異性度量采用加權(quán)海明距離公式,權(quán)重定義為各對象間分類屬性不相等的屬性值的個數(shù)。最后將兩種差異性度量相加,得出的結(jié)果除以屬性的個數(shù),形成最終的屬性上的差異性度量的平均值,作為處理混合

3、屬性數(shù)據(jù)集中對象之間的差異性度量。對于異常因子的定義,采用計算混合屬性數(shù)據(jù)集中對象間的局部密度和基于鄰域的密度因子,最后的異常因子是由兩者的乘積求得,能夠很好的區(qū)分各個對象的異常程度,并根據(jù)局部密度和異常因子進行閾值的設(shè)定,根據(jù)此閾值可以靈活的求解異常對象。通過理論分析和在UCI數(shù)據(jù)集上的實驗驗證證明,提出的基于混合屬性的局部密度異常檢測算法在單維和多維的數(shù)據(jù)集上達到了預期效果,能夠準確的檢測混合屬性數(shù)據(jù)集中的異常,減少了算法運行的時間