高維空間數(shù)據(jù)挖掘預處理技術研究.pdf

1、本文結合國家863計劃項目“空間數(shù)據(jù)挖掘的神經(jīng)網(wǎng)絡技術研究”（No．2007AA12Z228）展開研究。 目前，數(shù)據(jù)預處理已經(jīng)成為實現(xiàn)對大規(guī)模高維空間數(shù)據(jù)集的數(shù)據(jù)挖掘的必經(jīng)階段。數(shù)據(jù)預處理的核心目標是把數(shù)據(jù)組織成一種標準形式，使其可由數(shù)據(jù)挖掘工具處理，同時能夠有效保證所得到的輸入數(shù)據(jù)集在數(shù)據(jù)挖掘過程中獲得最佳的數(shù)據(jù)挖掘效果。為此，本文對高維空間數(shù)據(jù)挖掘的數(shù)據(jù)預處理技術進行了相關的研究。 首先，本文總結了現(xiàn)有的數(shù)據(jù)預處理方

2、法，并針對原始高維空間數(shù)據(jù)所存在的問題以及空間數(shù)據(jù)挖掘模型對輸入數(shù)據(jù)集的要求和期望，提出了一個面向空間數(shù)據(jù)挖掘的數(shù)據(jù)預處理工作流程，該工作流程包括數(shù)據(jù)集成、數(shù)據(jù)清理、數(shù)據(jù)轉換和數(shù)據(jù)約簡或分區(qū)四個階段。 然后，論文對工作流程中的關鍵技術進行了深入研究。針對數(shù)據(jù)清理階段的異常點檢測，本文采用基于移動曲面擬合的方法實現(xiàn)對空間數(shù)據(jù)的異常點檢測；采用基于移動窗口和標準差理論的方法實現(xiàn)對時序數(shù)據(jù)的異常點檢測；采用聚類分析的方法實現(xiàn)對多維數(shù)據(jù)

3、的異常點檢測。以上檢測方法均編程實現(xiàn)，通過工程實例驗證了其有效性。針對高維空間數(shù)據(jù)集具有海量、高維度特點而難于處理的問題，本文提出采用主成分分析法對數(shù)據(jù)集進行維度約簡，從而實現(xiàn)了數(shù)據(jù)降維。另一方面，本文創(chuàng)新地提出了一種改進的快速傅立葉變換約簡方法，實現(xiàn)了對時序數(shù)據(jù)的有效約簡。經(jīng)驗證，在原始信息損失小于5％的情況下，約簡后數(shù)據(jù)量可以小于等于原始數(shù)據(jù)的10％。此外，本文還提出了一種數(shù)據(jù)分區(qū)方法。該方法僅以時間信息、空間信息為參考軸，不僅實現(xiàn)