基于大數(shù)據(jù)平臺(tái)的用戶行為分析系的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)應(yīng)用和信息技術(shù)的飛速發(fā)展和普及，信息數(shù)據(jù)已經(jīng)滲透到人們生活的中，數(shù)據(jù)的規(guī)模也呈井噴式的爆炸性增長(zhǎng)。通過(guò)對(duì)海量的數(shù)據(jù)信息進(jìn)行分析挖掘，可以提取出對(duì)企業(yè)有重要價(jià)值的用戶行為信息，為企業(yè)帶來(lái)巨大的商業(yè)價(jià)值。
　　提出了hadoop大數(shù)據(jù)平臺(tái)下的用戶行為分析系統(tǒng)。輸入法客戶端SDK收集用戶的日常日志信息，利用RSA加密算法將日志信息分段加密，到達(dá)一定數(shù)據(jù)量后進(jìn)行壓縮傳回服務(wù)器。傳回服務(wù)器的日志信息有兩種大的類(lèi)型，用戶行為數(shù)據(jù)和用

2、戶輸入數(shù)據(jù)。服務(wù)器對(duì)收集的日志信息進(jìn)行分類(lèi)解析，將解析結(jié)果存儲(chǔ)到HDFS分布式文件系統(tǒng)。對(duì)存儲(chǔ)在HDFS上的數(shù)據(jù)信息利用分布式編程框架mapreduce來(lái)分析處理，將處理后的數(shù)據(jù)信息存入hive數(shù)據(jù)倉(cāng)庫(kù)。統(tǒng)計(jì)分析時(shí)提取hive表中關(guān)鍵信息，及時(shí)了解用戶的行為和需求，進(jìn)行質(zhì)量監(jiān)控。通過(guò)用戶行為數(shù)據(jù)可以進(jìn)行常規(guī)的數(shù)據(jù)統(tǒng)計(jì)計(jì)算包括用戶的新增、活躍、留存分析、渠道分析以及自定義事件和錯(cuò)誤的分析等。通過(guò)對(duì)錯(cuò)誤的分析統(tǒng)計(jì)可以進(jìn)行crash收集和分析

3、，及時(shí)監(jiān)測(cè)輸入法的使用情況，發(fā)現(xiàn)并解決錯(cuò)誤從而提高輸入法的穩(wěn)定性。通過(guò)用戶的輸入數(shù)據(jù)可以對(duì)用戶進(jìn)行情感色彩走向的分析還可以進(jìn)行更深層次的數(shù)據(jù)挖掘。
　　對(duì)用戶的隱私進(jìn)行壓縮和加密收集，充分利用分布式的處理能力，能在短時(shí)間內(nèi)分析出最新的用戶行為和信息。用戶行為分析主要構(gòu)成元素有輸入法常規(guī)數(shù)據(jù)統(tǒng)計(jì)、輸入法內(nèi)容區(qū)元素受歡迎程度以及用戶的長(zhǎng)短期興趣。利用收集到的一個(gè)月的用戶信息進(jìn)行分析，分析結(jié)果提供給產(chǎn)品和運(yùn)營(yíng)作數(shù)據(jù)支撐，從多方面、多維度