基于日志文件的數(shù)據(jù)監(jiān)控系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)技術(shù)的日益發(fā)展，網(wǎng)絡(luò)為人們提供了海量信息和多樣性的娛樂環(huán)境，如新聞資訊、影視視頻、音樂等。然而，面對(duì)如此繁雜的信息和服務(wù)，針對(duì)用戶的個(gè)性化需求，如何幫助用戶便捷地從海量數(shù)據(jù)資源中獲取到他們真正想要的信息和感興趣的資源，個(gè)性化推薦引擎技術(shù)由此應(yīng)運(yùn)而生。
　　通過個(gè)性化推薦，能夠極大地降低用戶的瀏覽和檢索成本，幫助用戶更快定位有效的信息和感興趣的資源。但由于用戶喜好的差異性、需求的復(fù)雜性以及推薦信息的多樣性，往往使得有效的推

2、薦策略和推薦算法不能一蹴而就，也就必然導(dǎo)致在產(chǎn)品推廣和生產(chǎn)實(shí)驗(yàn)的過程中，需要依賴于個(gè)性化推薦引擎的日志來進(jìn)行分析和評(píng)估，再根據(jù)分析評(píng)估結(jié)果對(duì)推薦策略進(jìn)行迭代、優(yōu)化和改進(jìn)，以達(dá)到輔助優(yōu)化推薦過程的目的。面對(duì)成千上萬的產(chǎn)品實(shí)驗(yàn)和海量的用戶訪問日志，如何通過一個(gè)日志數(shù)據(jù)監(jiān)控系統(tǒng)來實(shí)時(shí)有效地掌控產(chǎn)品的使用情況，以及快速客觀地評(píng)估產(chǎn)品推薦的效果和質(zhì)量，并輔助促進(jìn)推薦策略算法的優(yōu)化和改進(jìn)，這就成了一個(gè)非常值得研究的課題。
　　本文通過設(shè)計(jì)并實(shí)

3、現(xiàn)了一個(gè)基于推薦引擎日志文件下的數(shù)據(jù)監(jiān)控系統(tǒng)來解決上述問題，該監(jiān)控系統(tǒng)主要針對(duì)產(chǎn)品實(shí)驗(yàn)和海量用戶訪問日志進(jìn)行監(jiān)控分析，并根據(jù)監(jiān)控分析結(jié)果快速客觀地評(píng)估產(chǎn)品推薦的效果和質(zhì)量，從而對(duì)產(chǎn)品或?qū)嶒?yàn)的推廣效果進(jìn)行量化評(píng)價(jià)，具有一定的進(jìn)步性。系統(tǒng)首先從HDFS的數(shù)據(jù)倉庫中獲取經(jīng)過過濾處理后的日志數(shù)據(jù)，接著采用臨時(shí)的分布式處理框架，對(duì)事先定制的實(shí)驗(yàn)指標(biāo)進(jìn)行快速的統(tǒng)計(jì)，并將統(tǒng)計(jì)結(jié)果導(dǎo)入MySQL數(shù)據(jù)中，最后再對(duì)數(shù)據(jù)庫中的參數(shù)指標(biāo)按照配置的監(jiān)控策略進(jìn)行監(jiān)