基于海量數(shù)據(jù)的用戶行為數(shù)據(jù)分析系統(tǒng)研究與實(shí)現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)行業(yè)的發(fā)展，人們的生活越來越離不開互聯(lián)網(wǎng)帶來的便利，政府對互聯(lián)網(wǎng)+的支持，造就了眾多傳統(tǒng)行業(yè)與互聯(lián)網(wǎng)的融合，這種融合不僅改變了行業(yè)的發(fā)展模式，同時(shí)也產(chǎn)生了海量的數(shù)據(jù)。人們每時(shí)每刻在互聯(lián)網(wǎng)上產(chǎn)生的行為都被格式化的數(shù)據(jù)記錄下來，這些行為數(shù)據(jù)對分析用戶行為、改善服務(wù)價(jià)值、預(yù)測購買意愿及輿論走勢具有重大價(jià)值。在互聯(lián)網(wǎng)行業(yè)中，每天都會產(chǎn)生大量的行為日志數(shù)據(jù)，動輒以TB為單位，如何更好、更快、更準(zhǔn)確的收集、處理、存儲及展示用戶的海量行為數(shù)

2、據(jù)成為迫在眉睫的需求。
　　在用戶行為領(lǐng)域，通過數(shù)據(jù)分析方法的科學(xué)應(yīng)用，經(jīng)過理論推導(dǎo)，能夠相對完整地揭示用戶行為的內(nèi)在規(guī)律?；诖藥椭髽I(yè)實(shí)現(xiàn)多維交叉分析，幫助企業(yè)建立快速反應(yīng)、適應(yīng)變化的敏捷商業(yè)智能決策。利用用戶行為數(shù)據(jù)，可以產(chǎn)生更加優(yōu)質(zhì)的服務(wù)，這對任何一個組織來說都是絕對有意的。海量用戶數(shù)據(jù)從產(chǎn)生開始，需要經(jīng)過多個數(shù)據(jù)處理階段才能通過云服務(wù)的方式向分析決策人員提供決策參考價(jià)值，或者直接向高層提供決策數(shù)據(jù)的方案支持。如何將海量、

3、異構(gòu)、實(shí)時(shí)、多樣的用戶數(shù)據(jù)進(jìn)行高效采集、處理、存儲，以實(shí)現(xiàn)大規(guī)模復(fù)雜用戶數(shù)據(jù)查詢的快速、準(zhǔn)確、及時(shí)響應(yīng)成為具有重要價(jià)值的研究方向。用戶行為數(shù)據(jù)的價(jià)值隨著時(shí)間逐步被挖掘，用戶行為數(shù)據(jù)的重要性被廣泛認(rèn)可。
　　本文從系統(tǒng)的角度，分析行業(yè)內(nèi)用戶行為數(shù)據(jù)分析系統(tǒng)的方案與技術(shù)，同時(shí)根據(jù)現(xiàn)有新興技術(shù)的優(yōu)勢及特點(diǎn)，提出一套能夠滿足海量用戶行為數(shù)據(jù)分析的系統(tǒng)方案，該方案是一套完整的解決方案，涵蓋數(shù)據(jù)采集接收、數(shù)據(jù)處理、數(shù)據(jù)倉庫、數(shù)據(jù)分析及數(shù)據(jù)可視

4、化。
　　本文主要研究和完成的工作包括:
　　(1)建立完善的數(shù)據(jù)采集接收子系統(tǒng)，包括數(shù)據(jù)收集的策略、各種異常問題的解決方案、系統(tǒng)的擴(kuò)展性設(shè)計(jì)等。
　　(2)構(gòu)建數(shù)據(jù)處理鏈路，通過對不同了來源的行為數(shù)據(jù)進(jìn)行日志格式的預(yù)處理、清洗，產(chǎn)生符合標(biāo)準(zhǔn)計(jì)算的數(shù)據(jù)。
　　(3)構(gòu)建用戶行為數(shù)據(jù)倉庫，將處理后的數(shù)據(jù)根據(jù)業(yè)務(wù)等需求，將多來源的用戶行為數(shù)據(jù)相互整合，形成不同產(chǎn)品的用戶行為數(shù)據(jù)倉庫，并將其作為用戶行為數(shù)據(jù)分析系統(tǒng)的核

5、心數(shù)據(jù)。
　　(4)構(gòu)建用戶行為數(shù)據(jù)分析平臺。根據(jù)業(yè)內(nèi)對用戶行為數(shù)據(jù)分析的價(jià)值判定，提供包含事件分析、漏斗分析、留存分析、用戶路徑等算法的快捷用戶行為數(shù)據(jù)分析模板和數(shù)據(jù)可視化方案;除此之外，保留為用戶提供的自主分析方案，使用戶可以自主分析用戶行為數(shù)據(jù)，挖掘數(shù)據(jù)價(jià)值。
　　依照本文的設(shè)計(jì)方案構(gòu)建的海量用戶行為分析系統(tǒng)已經(jīng)在國內(nèi)最大的網(wǎng)約車互聯(lián)網(wǎng)公司部署使用，該系統(tǒng)采用完全開源和自編程系統(tǒng)，最大化的保證數(shù)據(jù)在各個子系統(tǒng)之間的傳輸