基于YARN和哈希技術(shù)的大數(shù)據(jù)K近鄰研究.pdf

1、大數(shù)據(jù)是近幾年機器學習領(lǐng)域最熱門的研究方向之一，大數(shù)據(jù)給傳統(tǒng)的機器學習帶來了巨大挑戰(zhàn)。K-近鄰是一種著名的分類算法。由于它簡單且易于實現(xiàn)，所以被廣泛應用于許多領(lǐng)域，如人臉識別、基因分類、決策支持等。然而，在大數(shù)據(jù)環(huán)境中，K-近鄰算法的效率變得非常低，甚至不可行。針對這一問題，基于 Yarn和哈希技術(shù)，本文提出了兩種解決方案：一種用 Mapreduce和 SimHash在云計算平臺上實現(xiàn)針對大數(shù)據(jù)集的K-近鄰分類；另一種用Spark和Si

2、mHash在云計算平臺上實現(xiàn)針對大數(shù)據(jù)集的K-近鄰分類。兩種解決方案的基本思路是類似的，包括三步：（1）對大數(shù)據(jù)集做哈希變換，將其變換到海明空間；（2）在海明空間中，基于云計算 Yarn平臺用大數(shù)據(jù)計算框架Mapreduce和Spark尋找與測試樣例x在同一個桶中的訓練樣例；（3）在同一個桶中再尋找測試樣例x的K個精確近鄰，并用這K個精確近鄰對x進行分類。實驗結(jié)果顯示，在分類能力保持的前提下，本文提出的解決方案是可行的，而且可以大幅度地