基于YARN和哈希技術(shù)的大數(shù)據(jù)K近鄰研究.pdf

1、大數(shù)據(jù)是近幾年機(jī)器學(xué)習(xí)領(lǐng)域最熱門的研究方向之一，大數(shù)據(jù)給傳統(tǒng)的機(jī)器學(xué)習(xí)帶來了巨大挑戰(zhàn)。K-近鄰是一種著名的分類算法。由于它簡單且易于實(shí)現(xiàn)，所以被廣泛應(yīng)用于許多領(lǐng)域，如人臉識(shí)別、基因分類、決策支持等。然而，在大數(shù)據(jù)環(huán)境中，K-近鄰算法的效率變得非常低，甚至不可行。針對(duì)這一問題，基于 Yarn和哈希技術(shù)，本文提出了兩種解決方案：一種用 Mapreduce和 SimHash在云計(jì)算平臺(tái)上實(shí)現(xiàn)針對(duì)大數(shù)據(jù)集的K-近鄰分類；另一種用Spark和Si

2、mHash在云計(jì)算平臺(tái)上實(shí)現(xiàn)針對(duì)大數(shù)據(jù)集的K-近鄰分類。兩種解決方案的基本思路是類似的，包括三步：（1）對(duì)大數(shù)據(jù)集做哈希變換，將其變換到海明空間；（2）在海明空間中，基于云計(jì)算 Yarn平臺(tái)用大數(shù)據(jù)計(jì)算框架Mapreduce和Spark尋找與測試樣例x在同一個(gè)桶中的訓(xùn)練樣例；（3）在同一個(gè)桶中再尋找測試樣例x的K個(gè)精確近鄰，并用這K個(gè)精確近鄰對(duì)x進(jìn)行分類。實(shí)驗(yàn)結(jié)果顯示，在分類能力保持的前提下，本文提出的解決方案是可行的，而且可以大幅度地