面向減小Hadoop通信開銷的Gorder算法的研究.pdf

1、數(shù)據(jù)挖掘技術(shù)成為近年來的研究熱點。KNN Joins問題是數(shù)據(jù)挖掘中的典型問題，在數(shù)據(jù)挖掘中的知識發(fā)現(xiàn)、空間數(shù)據(jù)庫和數(shù)據(jù)清洗等領(lǐng)域發(fā)揮作用。該問題包含近鄰查詢與Joins操作兩個方面，這兩個方面都是計算消耗型。當(dāng)數(shù)據(jù)量增大，解決該問題的CPU消耗、I/O消耗等是巨大的。提高解決KNN Joins問題的算法性能是必要的。為了在面臨大數(shù)據(jù)時數(shù)據(jù)挖掘問題仍然能夠高效的解決，并行化是有效的方法。在并行計算中，Hadoop采用Map/Reduce

2、編程模型進(jìn)行計算。其中Map/Reduce編程模型作為一種簡單、易擴(kuò)展、高容錯的并行編程模型，得到了廣泛的應(yīng)用。
　　 本文利用該編程模型對算法進(jìn)行并行化，解決大數(shù)據(jù)處理過程中的效率問題是普遍被采用的方法。采用Hadoop平臺并使用Map/Reduce編程模型對KNN Joins問題算法進(jìn)行并行化設(shè)計是可行而有效的。目前關(guān)于KNN Joins問題如何高效、準(zhǔn)確的解決已有了相關(guān)的研究。其中包括單機(jī)算法，也包括采用Map/Reduc