已閱讀1頁，還剩63頁未讀， 繼續(xù)免費閱讀
版權說明：本文檔由用戶提供并上傳，收益歸屬內(nèi)容提供方，若內(nèi)容存在侵權，請進行舉報或認領
文檔簡介
1、Hadoop是處理海量數(shù)據(jù)的分布式計算及存儲框架，在各行各業(yè)中得到的廣泛的應用，尤其是在互聯(lián)網(wǎng)用戶數(shù)如此龐大的環(huán)境下。但是Hadoop處理一些大數(shù)據(jù)應用仍然存在一些不足，如Hadoop處理圖結構數(shù)據(jù)。由于圖結構數(shù)據(jù)的強耦合特性，無法在一次mapreduce計算中得出結果，而是需要迭代化計算，甚至一次迭代包含多次mapreduce計算，從而需要重新啟動mapeduce任務，開銷較大，另外迭代過程中可能存在靜態(tài)數(shù)據(jù)的不必要傳輸，破壞了Had
2、oop設計的思想。
本文首先論述Hadoop處理迭代應用存在的問題以及一些解決方案，如HaLoop。在此基礎上提出了map端存儲策略，它主要是通過擴展mapper接口來充分利用map階段的計算以及利用在map端存儲靜態(tài)數(shù)據(jù)，以便可以在map階段完成靜態(tài)數(shù)據(jù)與動態(tài)數(shù)據(jù)相關計算，減少了數(shù)據(jù)傳輸?shù)絩educe階段完成計算的網(wǎng)絡開銷。
之后分析Hadoop的默認放置策略，該策略存在的一些缺陷。針對缺陷，考慮到數(shù)據(jù)備份的放置以
溫馨提示
- 1. 本站所有資源如無特殊說明，都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等，如果需要附件，請聯(lián)系上傳者。文件的所有權益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙，網(wǎng)頁內(nèi)容里面會有圖紙預覽，若沒有圖紙預覽就沒有圖紙。
- 4. 未經(jīng)權益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 眾賞文庫僅提供信息存儲空間，僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護處理，對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯，并不能對任何下載內(nèi)容負責。
- 6. 下載文件中如有侵權或不適當內(nèi)容，請與我們聯(lián)系，我們立即糾正。
- 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。
最新文檔
- 基于Hadoop的海量數(shù)據(jù)處理模型研究和應用.pdf
- 基于Hadoop平臺的時序數(shù)據(jù)處理方法研究.pdf
- 基于Hadoop的海量工程數(shù)據(jù)處理技術研究.pdf
- 基于Hadoop的電信大數(shù)據(jù)處理的研究及應用.pdf
- Hadoop平臺下基于HBase的海量數(shù)據(jù)處理研究.pdf
- 基于Hadoop的海量電能質(zhì)量數(shù)據(jù)處理研究.pdf
- 基于Hadoop的海量日志數(shù)據(jù)處理研究與應用.pdf
- 基于Hadoop的滑坡監(jiān)測數(shù)據(jù)處理與分析.pdf
- 28231.基于hadoop的異構海洋數(shù)據(jù)處理模型研究
- 基于Hadoop海量數(shù)據(jù)處理關鍵技術研究.pdf
- 基于Hadoop的海量車載物聯(lián)網(wǎng)數(shù)據(jù)處理方法研究.pdf
- 基于Hadoop的大數(shù)據(jù)處理關鍵技術研究.pdf
- 基于Hadoop和Solr的海量數(shù)據(jù)處理研究與應用.pdf
- 基于Hadoop云的數(shù)據(jù)庫營銷海量數(shù)據(jù)處理與挖掘的研究.pdf
- 基于MapReduce的迭代型分布式數(shù)據(jù)處理研究.pdf
- 基于Hadoop的農(nóng)業(yè)大數(shù)據(jù)處理系統(tǒng)研究.pdf
- 基于Hadoop的數(shù)據(jù)部署策略研究.pdf
- 基于Hadoop平臺的地震波形數(shù)據(jù)處理方法研究.pdf
- 基于Hadoop云平臺風電機組振動數(shù)據(jù)處理的技術研究.pdf
- 煤炭自然研究中的現(xiàn)代數(shù)據(jù)處理技術.pdf
評論
0/150
提交評論