基于Thrift框架的離線大數(shù)據(jù)中間件的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、近幾年，大數(shù)據(jù)、云計(jì)算已經(jīng)成為家喻戶曉的熱門詞匯，百度公司作為當(dāng)前國(guó)內(nèi)領(lǐng)先的搜索引擎領(lǐng)導(dǎo)者，擁有規(guī)模巨大的數(shù)據(jù)資源?；诎俣鹊暮Ａ坑脩魯?shù)據(jù)，同時(shí)與垂直搜索深度結(jié)合，挖掘出千萬(wàn)級(jí)別標(biāo)簽數(shù)據(jù)，對(duì)用戶進(jìn)行空間和時(shí)間的立體洞察。
　　本課題采用百度公司使用廣泛的PHP作為開發(fā)語(yǔ)言，借助Thrift框架強(qiáng)大的跨語(yǔ)言服務(wù)能力，以百度垂直搜索類業(yè)務(wù)的離線數(shù)據(jù)為基礎(chǔ)，開發(fā)了一套集合數(shù)據(jù)查詢，數(shù)據(jù)計(jì)算，數(shù)據(jù)存儲(chǔ)，資源調(diào)度，統(tǒng)計(jì)報(bào)表等一系列功能的離線

2、大數(shù)據(jù)中間件。
　　文章以當(dāng)前的大數(shù)據(jù)平臺(tái)技術(shù)的發(fā)展現(xiàn)狀和發(fā)展趨勢(shì)為起點(diǎn)，深入分析了建立大數(shù)據(jù)平臺(tái)的必要性，總結(jié)出迎合當(dāng)前公司業(yè)務(wù)形式的平臺(tái)開發(fā)最佳方案，從技術(shù)角度介紹了使用Thrift框架作為跨語(yǔ)言服務(wù)框架的可行性，以及當(dāng)前數(shù)據(jù)開發(fā)領(lǐng)域中常用的Hadoop，Hive，HDFS和Query Engine引擎。為滿足業(yè)務(wù)需要，將系統(tǒng)用戶設(shè)計(jì)成雙重權(quán)限管理，以業(yè)務(wù)需求為背景，合理開發(fā)和布局。
　　本課題采用百度公司內(nèi)部專門針對(duì)P

3、HP語(yǔ)言的開發(fā)環(huán)境框架——ODP作為開發(fā)工具。前端技術(shù)采用ODP自帶的Smarty插件完成，部分頁(yè)面的展示使用JavaScript技術(shù)。同時(shí)與元數(shù)據(jù)平臺(tái)，用戶畫像等系統(tǒng)對(duì)接，為用戶提供方便快捷的全方位服務(wù)。平臺(tái)在設(shè)計(jì)上主要根據(jù)用戶的功能需求和使用流程，分為四大模塊，分別為：查詢模塊、數(shù)據(jù)計(jì)算模塊、數(shù)據(jù)統(tǒng)計(jì)模塊和管理模塊。查詢模塊為用戶提供基礎(chǔ)的數(shù)據(jù)查詢和任務(wù)查詢信息。數(shù)據(jù)計(jì)算模塊作為核心模塊，為用戶提供建立任務(wù)，數(shù)據(jù)計(jì)算，存儲(chǔ)和機(jī)器調(diào)度