基于上網(wǎng)日志大數(shù)據(jù)的數(shù)據(jù)挖掘及可視化研究.pdf

1、隨著信息技術和互聯(lián)網(wǎng)技術的高速發(fā)展，人們利用信息化的程度越來越高，并在信息化的過程中產(chǎn)生了大量的結構化和非結構的數(shù)據(jù)信息。如何采集、存儲、分析大量的數(shù)據(jù)化信息成為人們研究的熱點之一?；ヂ?lián)網(wǎng)商業(yè)巨頭Google公司在2004年率先提出如何處理大規(guī)模數(shù)據(jù)的分布式計算框架，之后開源的分布式Hadoop技術應運而生。利用分布式存儲計算框架Hadoop平臺處理各種形式的大數(shù)據(jù)成為業(yè)界的主流技術。目前，我們國家通信運營商每天都會產(chǎn)生大量的、各種各樣

2、的日志數(shù)據(jù)，如何能夠有效的加以利用，是個造福社會的大工程。
　　本文針對我們所擁有某市一個月的移動用戶的微信上網(wǎng)日志進行大數(shù)據(jù)處理及分析。我們采用了數(shù)據(jù)挖掘中經(jīng)典的K-means算法進行了時間聚類，將用戶的上網(wǎng)時間分為了4類，對用戶在各個時段的上網(wǎng)習慣進行了聚類。實驗主要運用Hadoop集群的MapReduce計算框架在多維度上進行需求機能測試，對各種需求情況進行深度研究的應用實驗，并綜合分析各維度的結果，在此結果上分析出上網(wǎng)用戶