kNN填充算法的分析和改進研究.pdf

1、數(shù)據(jù)挖掘是一個熱門的新興領域,在經(jīng)歷了近10幾年的高速發(fā)展之后,現(xiàn)已開發(fā)出了很多成熟的算法用于有效的處理海量數(shù)據(jù),并且這些算法和技術在數(shù)據(jù)挖掘領域都有良好的表現(xiàn)。但是由于應用催生的數(shù)據(jù)挖掘技術絕大部分處理的都是現(xiàn)實生活中的問題,而對于算法需要使用的數(shù)據(jù)而言,現(xiàn)實生活中產(chǎn)生和搜集的數(shù)據(jù)通常都是充滿各種各樣的噪聲、不一致和缺失等情況。因此數(shù)據(jù)預處理技術在數(shù)據(jù)挖掘過程中占有越來越重要地位。通常面臨的各種現(xiàn)實數(shù)據(jù)的問題中,數(shù)據(jù)缺失是最常見的。在

2、已經(jīng)開發(fā)出的大部分經(jīng)典算法中,處理帶有缺失的數(shù)據(jù)是非常困難的。因為數(shù)據(jù)缺失產(chǎn)生的原因比較復雜,不同的應用中數(shù)據(jù)生成的過程迥異,所以算法開發(fā)和設計的時候通常假設數(shù)據(jù)是按照理想狀態(tài)收集的。但是使用含有缺失的數(shù)據(jù)進行挖掘,會對挖掘過程和結(jié)果都產(chǎn)生嚴重的影響,甚至導致得出錯誤的模型和結(jié)論。因此數(shù)據(jù)挖掘算法和實際可用的數(shù)據(jù)之間存在一條巨大的鴻溝。針對數(shù)據(jù)缺失的預防、避免和處理等問題,國內(nèi)外已經(jīng)有很多學者進行了相關的研究,這些相關的研究吸收了統(tǒng)計、

3、機器學習、概率等學科的成果,他們在缺失值填充領域開發(fā)出來的很多算法被實驗和工業(yè)應用證明是非常成功的。在通常意義下,即使填充效果一般的填充算法,對挖掘算法的執(zhí)行和挖掘效果的提高的作用都是明顯的。本文主要是對應用最為廣泛、可擴展性和適應性最好的算法之一——KNN算法的分析和改進。KNN算法是NN算法的推廣形式。NN算法(最近鄰算法)最早由Cover和Hart在1967年提出,最早用于分類的研究。其基本思想是使用距離待分類的事例最近的類標簽來

4、分類未知事例。由于該算法易于理解和編程,并且適用范圍廣泛,在提出之后被廣泛用于分類、聚類、信息檢索和查詢、缺失值填充等領域,其中KNN算法就是NN算法在缺失值填充方面的改進版本。KNN算法使用缺失點附近的數(shù)據(jù)點對缺失值進行估計并進行填充。傳統(tǒng)的KNN算法有很多的不足,例如計算量比較大等。已經(jīng)有很多針對KNN的改進算法,這些算法通常專注于距離度量、距離計算、填充值的計算和計算結(jié)果存貯索引等方面的改進。在目前所參閱過的文獻中,所有的補值算法

5、均是使用某一特定算法或者使用某幾種算法依次對整個數(shù)據(jù)集進行填充,而本文提出的缺失點分類思想指出,即使對于同一個數(shù)據(jù)集來說,不同的缺失點其適合的補值方法也是不同的,算法特別是基于密度和近鄰等的局部算法,應該考慮對待填充的點進行分類,分別使用合適的方法進行填充,而不是簡單的使用一種算法一視同仁的處理所有的數(shù)據(jù)。本文主要的工作是在分類填充的框架下,提出K-1NN算法和進一步的基于幾何中心的CNN算法,并結(jié)合部分填充策略,提出兩類不適合進行填充