政府網(wǎng)站分布式日志存儲(chǔ)與分析系統(tǒng)研究.pdf

1、隨著網(wǎng)絡(luò)技術(shù)的發(fā)展，電子政務(wù)越來(lái)越被視為超越常規(guī)公共服務(wù)的手段。各國(guó)都在研究如何改進(jìn)政府網(wǎng)站以及在線服務(wù)的質(zhì)量，進(jìn)而提高政府的效率，增加政府的公信力。論文結(jié)合我國(guó)政府網(wǎng)站的發(fā)展現(xiàn)狀，基于Hadoop技術(shù)，提出通過(guò)在分布式環(huán)境下收集并分析網(wǎng)站的訪問(wèn)日志來(lái)獲取用戶的興趣點(diǎn)與行為模式，進(jìn)而為政府網(wǎng)站的建設(shè)與維護(hù)提供數(shù)據(jù)支持，以達(dá)到提高政府網(wǎng)站服務(wù)質(zhì)量，提升公民滿意度的目的。本文從以下幾個(gè)方面給出了研究思路和方法。
　?。?）詳細(xì)分析了目

2、前我國(guó)電子政務(wù)的發(fā)展現(xiàn)狀，并總結(jié)了電子政務(wù)存在的優(yōu)點(diǎn)和缺點(diǎn)；指出了電子政務(wù)中日志分析的重要性；通過(guò)對(duì)國(guó)內(nèi)外與電子政務(wù)日志分析有關(guān)的技術(shù)和方法的研究，提出了本文的研究目標(biāo)和框架。
　?。?）從分布式數(shù)據(jù)存儲(chǔ)和處理的角度，介紹了當(dāng)前比較流行的幾種分布式技術(shù)，包括：兩種分布式文件系統(tǒng)（GFS和HDFS），一種并行計(jì)算編程模型（MapReduce）。
　?。?）針對(duì)系統(tǒng)需求，利用模塊化思想將系統(tǒng)劃分為日志收集、日志存儲(chǔ)和日志分析等功

3、能模塊；并對(duì)系統(tǒng)的總體結(jié)構(gòu)進(jìn)行了設(shè)計(jì)，提出了適合政府網(wǎng)站及其下屬部門網(wǎng)站日志集中收集的層次架構(gòu)，并對(duì)各個(gè)層的功能進(jìn)行了定義。
　?。?）從本地日志收集和分布式日志收集兩個(gè)方面論證了日志收集的具體實(shí)現(xiàn)方法。本地日志收集方式采用目前常用的Javascript標(biāo)記日志收集方式，并結(jié)合Web Beacon方式實(shí)現(xiàn)日志跨域存儲(chǔ)；分布式日志收集則采用開源的Apache Flume分布式日志收集系統(tǒng)進(jìn)行實(shí)現(xiàn)。
　?。?）分別對(duì)日志的分布式