基于多核的并行相似連接.pdf

1、相似連接（similarity join）是指在給定的數(shù)據(jù)集中，根據(jù)給定的相似度度量函數(shù)來(lái)衡量數(shù)據(jù)之間的相似度，并找出所有相似度不小于給定閾值的數(shù)據(jù)對(duì)的操作。相似連接有著廣泛的應(yīng)用領(lǐng)域，如模糊的關(guān)鍵字匹配，文檔聚類(lèi)，系統(tǒng)推薦，協(xié)同過(guò)濾，數(shù)據(jù)集成與清洗等。隨著網(wǎng)絡(luò)和移動(dòng)應(yīng)用等信息技術(shù)的不斷發(fā)展，數(shù)據(jù)呈現(xiàn)爆炸式增長(zhǎng)，海量數(shù)據(jù)的分析需要強(qiáng)大的計(jì)算能力，相似連接成為大數(shù)據(jù)處理領(lǐng)域的熱點(diǎn)方式之一。
　　度量相似性的方法有很多種，如，Jacc

2、ard similarity，Cosine similarity，Overlap similarity，Hamming distance，Edit distance。本篇文章主要采用Jaccard similarity的方法去量化數(shù)據(jù)對(duì)相似值。傳統(tǒng)的單核計(jì)算機(jī)平臺(tái)的處理能力已經(jīng)很難滿(mǎn)足海量數(shù)據(jù)處理的計(jì)算要求。為了提高計(jì)算效率和計(jì)算性能，利用基于多核平臺(tái)的多線(xiàn)程并行編程發(fā)揮多核體系結(jié)構(gòu)的優(yōu)勢(shì)，已經(jīng)成為實(shí)現(xiàn)個(gè)人低成本并行計(jì)算和多核技術(shù)發(fā)展的