MapReduce下相似性連接算法改進(jìn)的研究.pdf

1、在大數(shù)據(jù)的時(shí)代背景下，拼寫檢查、數(shù)據(jù)清洗、協(xié)同過(guò)濾等應(yīng)用成為研究熱點(diǎn)，而相似性連接作為這些眾多數(shù)據(jù)分析的基本操作有著廣泛的應(yīng)用價(jià)值，同時(shí)Google提出的MapReduce編程模型是處理海量數(shù)據(jù)最流行的并行計(jì)算模型之一，但因其不能較好的支持相似性連接算法，使得在MapReduce上進(jìn)行相似性連接成為大數(shù)據(jù)的一個(gè)重要可擴(kuò)展的研究領(lǐng)域。相似性連接中，以n-gram算法為基礎(chǔ)的傳統(tǒng)算法應(yīng)用領(lǐng)域非常廣泛，增加了錯(cuò)誤拼寫對(duì)相似性度量的影響，但由于

2、該算法生成的標(biāo)記存在大量冗余，無(wú)形中增加了內(nèi)存空間的消耗以及運(yùn)行時(shí)間。隨后針對(duì)n-gram算法提出了改進(jìn)的ED-Join算法，在前綴篩選階段減少了前綴標(biāo)記的數(shù)量，但卻給每個(gè)標(biāo)記分配了位置因素，雖然運(yùn)行時(shí)間顯著減少，空間消耗減少卻不多。并且以n-gram算法為基礎(chǔ)的ED-Join算法并沒(méi)有在并行架構(gòu)下實(shí)現(xiàn)，無(wú)法適應(yīng)海量數(shù)據(jù)處理的要求，因此在海量的數(shù)據(jù)中改進(jìn)n-gram算法，減少冗余，減少空間消耗以及運(yùn)行時(shí)間成為亟待解決的問(wèn)題。
　　

3、針對(duì)以上問(wèn)題，本文改進(jìn)了傳統(tǒng)的n-gram算法以及ED-Join算法，提出一種支持MapReduce的新型算法-n-gram-imp算法。首先，該算法在劃分字符串時(shí)，用無(wú)冗余滑動(dòng)窗口代替冗余滑動(dòng)窗口，僅需選取少量的前綴標(biāo)記參加過(guò)濾即可，使空間利用效率以及運(yùn)行時(shí)間都得到了提升。其次，n-gram-imp算法生成的標(biāo)記無(wú)冗余，需要對(duì)篩選出的標(biāo)記進(jìn)行針對(duì)性的過(guò)濾操作，所以提出了Pre-imp前綴過(guò)濾算法。最后，在MapReduce計(jì)算模型上實(shí)