基于Hive的離線數(shù)據(jù)處理方法與實(shí)現(xiàn).pdf

1、離線數(shù)據(jù)和業(yè)務(wù)量的急劇增長使得傳統(tǒng)數(shù)據(jù)庫技術(shù)及單純基于Hadoop的分布式計(jì)算方法需耗費(fèi)巨大開銷，且報表查詢頁面等待時間長，嚴(yán)重影響用戶的體驗(yàn)。
　　本文提出一種基于Hadoop和Hive的離線數(shù)據(jù)處理方法，采用Java定時任務(wù)觸發(fā)處理作業(yè)的啟動，利用不同作業(yè)對實(shí)時性要求的差異，將運(yùn)行時間分散到不同時間段，實(shí)現(xiàn)系統(tǒng)性能的平衡。首先將每種離線數(shù)據(jù)的處理均視為一個作業(yè)，每個作業(yè)又被分為若干個子任務(wù);作業(yè)依據(jù)其標(biāo)識、啟動時間、循環(huán)間隔等

2、信息由Java定時任務(wù)觸發(fā);定時任務(wù)每分鐘查詢待啟動的作業(yè)，并根據(jù)不同的作業(yè)類型，進(jìn)入到相應(yīng)的執(zhí)行流程。提出復(fù)雜報表數(shù)據(jù)統(tǒng)計(jì)作業(yè)的多維度統(tǒng)計(jì)方法;抽象出作業(yè)執(zhí)行流程較為相似的各個子任務(wù)模板，提高可復(fù)用性。
　　將所提出方法應(yīng)用于能力開放平臺，實(shí)例結(jié)果表明該方法可減少離線冗余數(shù)據(jù)的空間消耗;通過預(yù)測用戶欺詐行為，可提高對消費(fèi)者權(quán)益的保障;報表數(shù)據(jù)的多維度統(tǒng)計(jì)結(jié)果拆分，可大大縮短報表查詢的時間開銷;通過減少頁面等待時間提高了用戶體驗(yàn)。