mba論文面向大數(shù)據(jù)的基于topk的服務(wù)排序優(yōu)化方法研究pdf

1、R e s e a r c h o n t o p - - kb a s e d S e r v i c e R a n k i n gO p t i m i z a t i o n f o r B i g D a t a E n v i r o n m e n t sT h e s i sS u b m i t t e d t oN a n j i n g U n i v e r s i t y o f P o s t sa n dT

2、 e l e c o m m u n i c a t i o n s f o r t h e D e g r e e o fM a s t e r o f E n g i n e e r i n gB yX u Y uS u p e r v i s o r ：P r o f ．W a n g H a i y a nM a y 2 0 1 6摘要隨著互聯(lián)網(wǎng)用戶數(shù)據(jù)量逐年猛增，儲(chǔ)存于網(wǎng)絡(luò)中的信息也以驚人的速度不斷增長(zhǎng)。如何在海量信息中，為用

3、戶快速準(zhǔn)確地提供所需服務(wù)成為了新的挑戰(zhàn)。t o p ．k 技術(shù)在用戶服務(wù)篩選和信息檢索中起到了重要作用。然而已有的t o p ．k 算法主要集中在單線程中解決t o p ．k 服務(wù)排序或者存在對(duì)并發(fā)控制不足，在面對(duì)海量數(shù)據(jù)處理時(shí)，往往會(huì)引發(fā)嚴(yán)重內(nèi)存滯留。為解決以上問(wèn)題，需要在t o p ．k 查詢過(guò)程中進(jìn)行數(shù)據(jù)預(yù)處理和完善服務(wù)排序算法。本文的主要工作如下：( 1 ) 根據(jù)M a p R e d u c e 數(shù)據(jù)并行處理的工作原理，提出C

4、 o r e ．C 算法，利用標(biāo)記本地緩存的子線程，來(lái)降低M a p R e d u c e 工作過(guò)程中重復(fù)開(kāi)啟線程的數(shù)量。此外，本文以t o p ．k 查詢特點(diǎn)作為基礎(chǔ)展開(kāi)研究，使用針對(duì)非確定性數(shù)據(jù)集查詢的方法處理非t o p ．k 集合元素的剪枝操作。( 2 ) 提出一種基于分布式數(shù)據(jù)模型的數(shù)據(jù)劃分和基于多目標(biāo)的非支配t o p ．k 排序算法：計(jì)算單位服務(wù)器所需要分?jǐn)偟臄?shù)據(jù)量，并且通過(guò)非支配排序方法將單位服務(wù)器計(jì)算得到的k 個(gè)結(jié)果