基于Hadoop的企業(yè)海量數(shù)據(jù)存儲與計算平臺的設計與實現(xiàn).pdf

1、近年來，隨著數(shù)據(jù)存儲與分布式計算技術的發(fā)展，國內(nèi)外掀起了研究海量數(shù)據(jù)存儲與計算的新高潮，以Google、Amazon、IBM為代表的信息技術公司陸續(xù)推出了自己的海量數(shù)據(jù)存儲與計算的構(gòu)架，其中最引人注目的新理念就是“云計算”解決方案。
　　作者所在的企業(yè)為互聯(lián)網(wǎng)數(shù)據(jù)服務公司，每天產(chǎn)生的數(shù)據(jù)是TB級別，數(shù)據(jù)的存儲與管理成了公司面臨一大難題。結(jié)合海量數(shù)據(jù)存儲與計算的相關技術，吸納業(yè)界領先公司的工作成果，設計一套符合公司業(yè)務要求、支持海量

2、數(shù)據(jù)應用服務的數(shù)據(jù)存儲與計算平臺，尋求適合企業(yè)海量數(shù)據(jù)的存儲和計算的“云計算”解決方案是本文的目標。
　　本文主要的工作是海量數(shù)據(jù)與計算平臺設計、開發(fā)和測試。首先基于 Hadoop框架體系，設計了符合海量數(shù)據(jù)存儲的平臺架構(gòu)以及海量數(shù)據(jù)處理的算法與機制；其次，根據(jù)平臺的設計方案，給出了基于Hadoop的分布式存儲與計算平臺的實施方案，并針對支持海量大文件存儲的GHFS和支持海量小文件存儲的TGHFS給出了存取接口的實現(xiàn)，構(gòu)建了海量數(shù)