基于Thrift框架的離線大數(shù)據(jù)中間件的設(shè)計(jì)與實(shí)現(xiàn).pdf_第1頁(yè)
已閱讀1頁(yè),還剩89頁(yè)未讀, 繼續(xù)免費(fèi)閱讀

下載本文檔

版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)

文檔簡(jiǎn)介

1、近幾年,大數(shù)據(jù)、云計(jì)算已經(jīng)成為家喻戶曉的熱門詞匯,百度公司作為當(dāng)前國(guó)內(nèi)領(lǐng)先的搜索引擎領(lǐng)導(dǎo)者,擁有規(guī)模巨大的數(shù)據(jù)資源?;诎俣鹊暮A坑脩魯?shù)據(jù),同時(shí)與垂直搜索深度結(jié)合,挖掘出千萬(wàn)級(jí)別標(biāo)簽數(shù)據(jù),對(duì)用戶進(jìn)行空間和時(shí)間的立體洞察。
  本課題采用百度公司使用廣泛的PHP作為開發(fā)語(yǔ)言,借助Thrift框架強(qiáng)大的跨語(yǔ)言服務(wù)能力,以百度垂直搜索類業(yè)務(wù)的離線數(shù)據(jù)為基礎(chǔ),開發(fā)了一套集合數(shù)據(jù)查詢,數(shù)據(jù)計(jì)算,數(shù)據(jù)存儲(chǔ),資源調(diào)度,統(tǒng)計(jì)報(bào)表等一系列功能的離線

2、大數(shù)據(jù)中間件。
  文章以當(dāng)前的大數(shù)據(jù)平臺(tái)技術(shù)的發(fā)展現(xiàn)狀和發(fā)展趨勢(shì)為起點(diǎn),深入分析了建立大數(shù)據(jù)平臺(tái)的必要性,總結(jié)出迎合當(dāng)前公司業(yè)務(wù)形式的平臺(tái)開發(fā)最佳方案,從技術(shù)角度介紹了使用Thrift框架作為跨語(yǔ)言服務(wù)框架的可行性,以及當(dāng)前數(shù)據(jù)開發(fā)領(lǐng)域中常用的Hadoop,Hive,HDFS和Query Engine引擎。為滿足業(yè)務(wù)需要,將系統(tǒng)用戶設(shè)計(jì)成雙重權(quán)限管理,以業(yè)務(wù)需求為背景,合理開發(fā)和布局。
  本課題采用百度公司內(nèi)部專門針對(duì)P

3、HP語(yǔ)言的開發(fā)環(huán)境框架——ODP作為開發(fā)工具。前端技術(shù)采用ODP自帶的Smarty插件完成,部分頁(yè)面的展示使用JavaScript技術(shù)。同時(shí)與元數(shù)據(jù)平臺(tái),用戶畫像等系統(tǒng)對(duì)接,為用戶提供方便快捷的全方位服務(wù)。平臺(tái)在設(shè)計(jì)上主要根據(jù)用戶的功能需求和使用流程,分為四大模塊,分別為:查詢模塊、數(shù)據(jù)計(jì)算模塊、數(shù)據(jù)統(tǒng)計(jì)模塊和管理模塊。查詢模塊為用戶提供基礎(chǔ)的數(shù)據(jù)查詢和任務(wù)查詢信息。數(shù)據(jù)計(jì)算模塊作為核心模塊,為用戶提供建立任務(wù),數(shù)據(jù)計(jì)算,存儲(chǔ)和機(jī)器調(diào)度

溫馨提示

  • 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁(yè)內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 眾賞文庫(kù)僅提供信息存儲(chǔ)空間,僅對(duì)用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
  • 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。

最新文檔

評(píng)論

0/150

提交評(píng)論