基于商空間粒度的覆蓋聚類算法.pdf

1、隨著信息技術(shù)的高速發(fā)展，數(shù)據(jù)庫(kù)應(yīng)用的規(guī)模、范圍和深度的不斷擴(kuò)大，導(dǎo)致積累了大量的數(shù)據(jù)，而這些激增的數(shù)據(jù)后面隱藏著許多重要的信息，人們希望能夠?qū)ζ溥M(jìn)行更高層次的分析，以便更好地利用這些數(shù)據(jù)。目前的數(shù)據(jù)庫(kù)系統(tǒng)可以高效、方便地實(shí)現(xiàn)數(shù)據(jù)的錄入、查詢、統(tǒng)計(jì)等功能，但是無(wú)法發(fā)現(xiàn)數(shù)據(jù)中存在的各種關(guān)系和規(guī)則，更無(wú)法根據(jù)現(xiàn)有的數(shù)據(jù)預(yù)測(cè)未來(lái)的發(fā)展趨勢(shì)。而數(shù)據(jù)聚類分析正是解決這一問(wèn)題的有效途徑，它是數(shù)據(jù)挖掘的重要組成部分，用于發(fā)現(xiàn)在數(shù)據(jù)庫(kù)中未知的對(duì)象類，為數(shù)

2、據(jù)挖掘提供有力的支持，它是近年來(lái)廣為研究的問(wèn)題之一。 聚類分析技術(shù)就是將數(shù)據(jù)區(qū)分為自然的群體，并給出每個(gè)群體特征描述的一種數(shù)據(jù)挖掘方法。但是傳統(tǒng)的聚類算法對(duì)高維大規(guī)模數(shù)據(jù)的處理效率不高，我們研究的工作是希望對(duì)大規(guī)模，高維的數(shù)據(jù)庫(kù)找到一種高效的聚類方法，張鈴教授提出的交叉覆蓋算法可以有效地處理大規(guī)模數(shù)據(jù)的聚類問(wèn)題，因此我們提出基于覆蓋算法的聚類。同時(shí)我們注意到可以用粒度描述聚類的粗細(xì)，因此本文在聚類中引入粒度的概念。 本文

3、首先從基本概念出發(fā)，闡明了數(shù)據(jù)挖掘技術(shù)及其中的聚類分析技術(shù)的主要概念和主要內(nèi)容，之后對(duì)聚類分析算法的相關(guān)部分(如聚類分析中的數(shù)據(jù)表示、距離度量和常用算法)進(jìn)行了深入的分析和討論。接著介紹了覆蓋算法的基本思想，給出了商空間粒度的基本原理，提出了基于商空間粒度的覆蓋聚類算法，并通過(guò)實(shí)驗(yàn)驗(yàn)證了該算法的有效性和可行性，適合處理高維大規(guī)模的數(shù)據(jù)樣本。進(jìn)而，針對(duì)文本聚類中由于缺少類信息從而很難直接應(yīng)用有監(jiān)督的特征選擇方法這樣的局限，提出了一種基于類

4、信息的特征選擇算法，此算法在密度聚類算法的聚類結(jié)果上使用信息增益特征選擇法重新選擇最有分類能力的特征，實(shí)驗(yàn)證明了算法的可行性。 論文所做的工作如下： (1)提出了一種可以有效處理大規(guī)模高維數(shù)據(jù)的覆蓋聚類算法，此方法在研究傳統(tǒng)的聚類算法基礎(chǔ)上，擴(kuò)展了在數(shù)據(jù)分類上得到良好應(yīng)用的交叉覆蓋算法，提出了改進(jìn)的覆蓋聚類算法，使其能夠處理數(shù)據(jù)的自動(dòng)聚類問(wèn)題。 (2)引入了粒度的概念，選擇不同粒度計(jì)算時(shí)，可以直觀地從不同角度理解