

版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)
文檔簡(jiǎn)介
1、近幾年,大數(shù)據(jù)、云計(jì)算已經(jīng)成為家喻戶曉的熱門詞匯,百度公司作為當(dāng)前國(guó)內(nèi)領(lǐng)先的搜索引擎領(lǐng)導(dǎo)者,擁有規(guī)模巨大的數(shù)據(jù)資源?;诎俣鹊暮A坑脩魯?shù)據(jù),同時(shí)與垂直搜索深度結(jié)合,挖掘出千萬(wàn)級(jí)別標(biāo)簽數(shù)據(jù),對(duì)用戶進(jìn)行空間和時(shí)間的立體洞察。
本課題采用百度公司使用廣泛的PHP作為開發(fā)語(yǔ)言,借助Thrift框架強(qiáng)大的跨語(yǔ)言服務(wù)能力,以百度垂直搜索類業(yè)務(wù)的離線數(shù)據(jù)為基礎(chǔ),開發(fā)了一套集合數(shù)據(jù)查詢,數(shù)據(jù)計(jì)算,數(shù)據(jù)存儲(chǔ),資源調(diào)度,統(tǒng)計(jì)報(bào)表等一系列功能的離線
2、大數(shù)據(jù)中間件。
文章以當(dāng)前的大數(shù)據(jù)平臺(tái)技術(shù)的發(fā)展現(xiàn)狀和發(fā)展趨勢(shì)為起點(diǎn),深入分析了建立大數(shù)據(jù)平臺(tái)的必要性,總結(jié)出迎合當(dāng)前公司業(yè)務(wù)形式的平臺(tái)開發(fā)最佳方案,從技術(shù)角度介紹了使用Thrift框架作為跨語(yǔ)言服務(wù)框架的可行性,以及當(dāng)前數(shù)據(jù)開發(fā)領(lǐng)域中常用的Hadoop,Hive,HDFS和Query Engine引擎。為滿足業(yè)務(wù)需要,將系統(tǒng)用戶設(shè)計(jì)成雙重權(quán)限管理,以業(yè)務(wù)需求為背景,合理開發(fā)和布局。
本課題采用百度公司內(nèi)部專門針對(duì)P
3、HP語(yǔ)言的開發(fā)環(huán)境框架——ODP作為開發(fā)工具。前端技術(shù)采用ODP自帶的Smarty插件完成,部分頁(yè)面的展示使用JavaScript技術(shù)。同時(shí)與元數(shù)據(jù)平臺(tái),用戶畫像等系統(tǒng)對(duì)接,為用戶提供方便快捷的全方位服務(wù)。平臺(tái)在設(shè)計(jì)上主要根據(jù)用戶的功能需求和使用流程,分為四大模塊,分別為:查詢模塊、數(shù)據(jù)計(jì)算模塊、數(shù)據(jù)統(tǒng)計(jì)模塊和管理模塊。查詢模塊為用戶提供基礎(chǔ)的數(shù)據(jù)查詢和任務(wù)查詢信息。數(shù)據(jù)計(jì)算模塊作為核心模塊,為用戶提供建立任務(wù),數(shù)據(jù)計(jì)算,存儲(chǔ)和機(jī)器調(diào)度
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁(yè)內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 眾賞文庫(kù)僅提供信息存儲(chǔ)空間,僅對(duì)用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。
最新文檔
- 數(shù)據(jù)訪問中間件的設(shè)計(jì)與實(shí)現(xiàn).pdf
- 基于DDS的數(shù)據(jù)分發(fā)中間件的設(shè)計(jì)與實(shí)現(xiàn).pdf
- 基于OSGi框架的RFID中間件系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn).pdf
- 多媒體展示框架中間件的設(shè)計(jì)與實(shí)現(xiàn).pdf
- 異構(gòu)數(shù)據(jù)集成中間件的設(shè)計(jì)與實(shí)現(xiàn).pdf
- 基于java的多數(shù)據(jù)庫(kù)中間件的設(shè)計(jì)與實(shí)現(xiàn)
- 基于XML的數(shù)據(jù)轉(zhuǎn)換中間件的研究與實(shí)現(xiàn).pdf
- 基于CORBA的數(shù)據(jù)庫(kù)中間件的設(shè)計(jì)與實(shí)現(xiàn).pdf
- 基于JAVA的多數(shù)據(jù)庫(kù)中間件的設(shè)計(jì)與實(shí)現(xiàn).pdf
- 基于中間件技術(shù)的數(shù)據(jù)交換平臺(tái)的設(shè)計(jì)與實(shí)現(xiàn).pdf
- 基于消息中間件的框架設(shè)計(jì).pdf
- 基于中間件的數(shù)據(jù)訪問服務(wù)的實(shí)現(xiàn).pdf
- 基于BREW中間件框架的研究.pdf
- 基于中間件技術(shù)的港口數(shù)據(jù)交換平臺(tái)設(shè)計(jì)與實(shí)現(xiàn).pdf
- 基于CORBA的中間件的設(shè)計(jì)與實(shí)現(xiàn).pdf
- 數(shù)據(jù)集成中間件研究與實(shí)現(xiàn).pdf
- 基于XML的異構(gòu)數(shù)據(jù)庫(kù)中間件的設(shè)計(jì)與實(shí)現(xiàn).pdf
- 基于Web Services的數(shù)據(jù)集成中間件的實(shí)現(xiàn).pdf
- 基于XML數(shù)據(jù)庫(kù)的中間件的研究與實(shí)現(xiàn).pdf
- 基于XML的數(shù)據(jù)交換中間件的研究與實(shí)現(xiàn).pdf
評(píng)論
0/150
提交評(píng)論