一種基于Hadoop的KNN增量式算法的設(shè)計與實現(xiàn).pdf

1、隨著海量數(shù)據(jù)的急劇增長，數(shù)據(jù)的有效處理和計算成為目前亟待解決的問題。目前，由傳統(tǒng)的機構(gòu)結(jié)構(gòu)化數(shù)據(jù)發(fā)展到大量半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)，這種趨勢給傳統(tǒng)的數(shù)據(jù)處理工具帶來了很大的挑戰(zhàn)。云計算技術(shù)是目前解決海量非傳統(tǒng)數(shù)據(jù)的有效途徑之一。云計算技術(shù)是將各種軟硬件資源統(tǒng)一放到一個公共的資源池中；應(yīng)用的個人和單位完全透明地根據(jù)需要獲取云計算模型中的計算力、存儲空間等服務(wù)。其中，Hadoop平臺是當(dāng)前廣泛應(yīng)用于云計算環(huán)境中的處理大規(guī)模海量數(shù)據(jù)的典型的開源

2、分布式處理系統(tǒng)。Hadoop平臺易于編程的MapReduce并行模式被大量應(yīng)用到數(shù)據(jù)挖掘、信息處理和推薦系統(tǒng)中。
　　增量式計算是伴隨海量數(shù)據(jù)處理產(chǎn)生的一種數(shù)據(jù)處理方式，該計算模式核心是盡可能用小的計算量來完成盡可能多得計算任務(wù)。其中表現(xiàn)在二次數(shù)據(jù)計算過程中，盡可能地利用之前初次數(shù)據(jù)計算的結(jié)果；二次計算僅針對原始數(shù)據(jù)變化的部分進行計算，最大限度的整合、重用初次計算結(jié)果，最終得到最終的二次計算結(jié)果，實現(xiàn)對海量數(shù)據(jù)的高效處理。

3、　　本文通過分析增量計算的特點和Hadoop平臺框架的優(yōu)劣，選取了數(shù)據(jù)挖掘領(lǐng)域中常見的KNN分類算法進行并行化，同時針對KNN算法結(jié)構(gòu)進行了Hadoop平臺增量計算改造，提出了一種基于Hadoop平臺的KNN算法的增量計算。本文中著重針對KNN增量計算特征對Hadoop進行源碼級別的改造，而應(yīng)用層對次改造完全透明。通過選取數(shù)據(jù)集與原始 Hadoop平臺進行對比，結(jié)果表明基于Hadoop平臺的KNN分類增量計算能夠取得和原始Hadoop平