大數(shù)據(jù)環(huán)境下群體計(jì)算任務(wù)分配和關(guān)聯(lián)分析算法的優(yōu)化研究.pdf

1、隨著大數(shù)據(jù)時(shí)代到來，數(shù)據(jù)規(guī)模劇增。盡管大數(shù)據(jù)帶來了豐富的信息和知識(shí)，但大數(shù)據(jù)的規(guī)模繁雜性、高速增長(zhǎng)性、形式多樣性和價(jià)值密度低等特點(diǎn)也對(duì)傳統(tǒng)數(shù)據(jù)處理技術(shù)帶來了嚴(yán)峻的挑戰(zhàn)。因此，亟須適應(yīng)于大數(shù)據(jù)環(huán)境的大數(shù)據(jù)處理技術(shù)。
　　大數(shù)據(jù)處理技術(shù)可以劃分為:人機(jī)協(xié)作群體計(jì)算技術(shù)和數(shù)據(jù)處理算法技術(shù)。本文已在這兩方面開展了研究工作，取得了如下兩方面的研究成果:
　　（一）在人機(jī)協(xié)作群體計(jì)算技術(shù)方面，針對(duì)大數(shù)據(jù)任務(wù)對(duì)復(fù)雜認(rèn)知推理技術(shù)的依賴問題，

2、主要通過優(yōu)化群體計(jì)算的方法來解決。其中合理的分配策略是計(jì)算的重要階段，本文提出了一種基于用戶主題精確感知的大數(shù)據(jù)群體任務(wù)分配算法。為了提高計(jì)算的準(zhǔn)確率，首先通過基于自適應(yīng)模糊聚類與主題提取模型相結(jié)合的方法，提取已發(fā)布群體任務(wù)的主題;然后構(gòu)建特定群體任務(wù)模型和用戶模型，并計(jì)算關(guān)聯(lián)度;再利用已提交高質(zhì)量答案的歷史任務(wù)迭代地檢測(cè)新用戶的真實(shí)主題并計(jì)算初始準(zhǔn)確率;其次，通過邏輯回歸(LR)方法預(yù)測(cè)用戶能參與到某類任務(wù)的可能性并得到參與用戶候選序

3、列，在充分了解用戶真實(shí)主題和對(duì)應(yīng)主題上的準(zhǔn)確率以及用戶誠(chéng)信度的情況下進(jìn)行精準(zhǔn)分配。最后通過實(shí)驗(yàn)，驗(yàn)證本文所研究算法更精準(zhǔn)，尤其適用于大數(shù)據(jù)環(huán)境，并一定程度上節(jié)約了隨機(jī)算法需多次重復(fù)分配確保準(zhǔn)確率的花銷。
　?。ǘ┰跀?shù)據(jù)處理算法技術(shù)方面，針對(duì)海量數(shù)據(jù)處理的效率需求問題，本文提出了一種基于云計(jì)算的改進(jìn)算法并行化方法。傳統(tǒng)算法已不能滿足對(duì)大數(shù)據(jù)的處理需求。其中，關(guān)聯(lián)分析算法是數(shù)據(jù)處理技術(shù)的研究熱點(diǎn)之一。本文對(duì)關(guān)聯(lián)分析Apriori算法

4、的改進(jìn)工作主要包括兩部分內(nèi)容:首先，提出了一種基于矩陣的Apriori算法改進(jìn)方法(M_Apriori)，該方法的創(chuàng)新之處在于構(gòu)造矩陣的方式和計(jì)算步驟的改變，算法采用基于矩陣的數(shù)據(jù)結(jié)構(gòu)進(jìn)行存儲(chǔ)與處理，只需掃描一次數(shù)據(jù)庫，減少了數(shù)據(jù)庫I/O開銷，通過構(gòu)造支持頻數(shù)矩陣，利用邏輯“與”運(yùn)算對(duì)算法核心操作步驟（連接與剪枝）進(jìn)行改進(jìn)，并進(jìn)行了理論驗(yàn)證與分析。然后提出了一種基于Spark的M_Apriori算法并行化方法(SPM_Apriori)，