基于聚類和孤立點檢測的數(shù)據(jù)預(yù)處理方法的研究.pdf

1、隨著網(wǎng)絡(luò)信息化服務(wù)的不斷發(fā)展，企業(yè)都積累了前所未有的海量數(shù)據(jù)，如何從這些海量數(shù)據(jù)中挖掘出自己需要的信息并應(yīng)用到自身的發(fā)展決策中成為了一個迫切需要研究的問題.面對這樣的挑戰(zhàn)，數(shù)據(jù)挖掘技術(shù)應(yīng)運而生.但是，由于數(shù)據(jù)在采集或者錄入過程中的一些錯誤以及一些其它的原因，導(dǎo)致數(shù)據(jù)中難免會存在一些問題.這些問題在很大程度上影響著數(shù)據(jù)挖掘任務(wù)的成敗.因此，使用數(shù)據(jù)預(yù)處理技術(shù)改善數(shù)據(jù)質(zhì)量顯得非常重要.而聚類和孤立點檢測作為數(shù)據(jù)挖掘領(lǐng)域的兩個非常熱門的研究方

2、向，也受到人們越來越多的關(guān)注，因此，本文從數(shù)據(jù)預(yù)處理的任務(wù)出發(fā)，分析聚類和孤立點檢測方法與數(shù)據(jù)預(yù)處理需求之間的關(guān)系，并研究相應(yīng)的數(shù)據(jù)預(yù)處理方法有重要的理論意義和實用價值，
　　本文首先對基于聚類和孤立點檢測的數(shù)據(jù)預(yù)處理進行了簡單的概述.然后介紹了面向數(shù)據(jù)挖掘的數(shù)據(jù)預(yù)處理系統(tǒng)的整體架構(gòu)，該系統(tǒng)是根據(jù)新的分類方式將數(shù)據(jù)預(yù)處理任務(wù)分成六個部分來實現(xiàn)的.緊接著描述了系統(tǒng)的啟動，以及該系統(tǒng)的每個功能模塊的任務(wù).
　　其次，本文分析了如

3、何用聚類方法實現(xiàn)預(yù)處理系統(tǒng)中的噪聲處理功能.并詳細介紹了聚類的相關(guān)概念、聚類算法的分類及其要求，同時將兩個經(jīng)典的聚類算法k-均值算法和最遠優(yōu)先算法用于系統(tǒng)中的噪聲識別.進而通過對這兩個經(jīng)典算法的分析與研究，用最遠優(yōu)先策略選擇k-均值算法的初始聚類中心，提出了一種改進的用于噪聲處理的k-均值算法.最后實驗表明改進的算法在處理低維數(shù)據(jù)時，聚類效果要優(yōu)于原來的k-均值算法，而且聚類效率也有了一定的提高，平均為原來的k-均值算法的2倍.