數(shù)據(jù)密集型計(jì)算環(huán)境下離群點(diǎn)挖掘算法的研究.pdf

1、隨著信息技術(shù)的快速發(fā)展,數(shù)據(jù)在醫(yī)療、商業(yè)、民生、科研與軍事等領(lǐng)域都呈現(xiàn)出爆炸式增長(zhǎng),數(shù)據(jù)密集型計(jì)算環(huán)境下數(shù)據(jù)挖掘算法的研究已被越來(lái)越多的人所關(guān)注。數(shù)據(jù)密集型計(jì)算環(huán)境下數(shù)據(jù)挖掘主要分為聚類數(shù)據(jù)挖掘、分類、頻繁項(xiàng)集挖掘、離群點(diǎn)挖掘四個(gè)方面,而離群點(diǎn)挖掘是目前研究的熱點(diǎn)之一。
　　文中首先闡述了數(shù)據(jù)密集型計(jì)算環(huán)境下數(shù)據(jù)的特點(diǎn)及表現(xiàn)形式,數(shù)據(jù)密集型計(jì)算環(huán)境下離群點(diǎn)挖掘的研究現(xiàn)狀及進(jìn)一步深入研究數(shù)據(jù)密集型計(jì)算環(huán)境下離群點(diǎn)挖掘的必要性,然后對(duì)

2、傳統(tǒng)數(shù)據(jù)中離群點(diǎn)挖掘的經(jīng)典算法進(jìn)行了介紹。經(jīng)研究與分析,目前離群點(diǎn)挖掘算法的研究大都集中在基于統(tǒng)計(jì)分布、深度、距離、聚類或網(wǎng)格等的離群點(diǎn)挖掘方法,而對(duì)于數(shù)據(jù)密集型計(jì)算環(huán)境中離群點(diǎn)挖掘算法的研究并不多見。
　　本文提出了數(shù)據(jù)密集型計(jì)算環(huán)境中離群點(diǎn)挖掘算法MR_LOF和MR_DBScan算法,并詳細(xì)介紹了算法的工作原理。MR_LOF和MR_DBScan算法分別是在LOF和DBScan算法的基礎(chǔ)上基于MapReduce模型提出來(lái)的。兩種