hadoop進階一【初識篇】

1、深入理解Hadoop集群和網絡摘要：摘要：本文將著重于討論Hadoop集群的體系結構和方法，及它如何涉及到網絡和服務器基礎設施。開始我們先學習一下Hadoop集群運作的基礎。導讀：云計算和導讀：云計算和Hadoop中網絡是討論得相對比較少的領域。本文中網絡是討論得相對比較少的領域。本文原文原文由Dell企業(yè)技術專家企業(yè)技術專家BradHedlund撰寫，他撰寫，他曾在思科工作多年，專長是數(shù)據(jù)中心、云網絡等。文章素材基于作者自己的研究、實

2、驗和曾在思科工作多年，專長是數(shù)據(jù)中心、云網絡等。文章素材基于作者自己的研究、實驗和Cloudera的培訓資料。的培訓資料。本文將著重于討論Hadoop集群的體系結構和方法，及它如何與網絡和服務器基礎設施的關系。最開始我們先學習一下Hadoop集群運作的基礎原理。Hadoop里的服務器角色Hadoop主要的任務部署分為3個部分，分別是：Client機器，主節(jié)點和從節(jié)點。主節(jié)點主要負責Hadoop兩個關鍵功能模塊HDFS、MapReduce

3、的監(jiān)督。當JobTracker使用MapReduce進行監(jiān)控和調度數(shù)據(jù)的并行處理時，NameNode則負責HDFS監(jiān)視和調度。從節(jié)點負責了機器運行的絕大部分，擔當所有數(shù)據(jù)儲存和指令計算的苦差。每個從節(jié)點既扮演者數(shù)據(jù)節(jié)點的角色又沖當與他們主節(jié)點通信的守護進程。守護進程隸屬于JobTracker，數(shù)據(jù)節(jié)點在歸屬于名稱節(jié)點。Client機器集合了Hadoop上所有的集群設置，但既不包括主節(jié)點也不包括從節(jié)點。取而代之的是客戶端機器的作用是把數(shù)據(jù)

4、加載到集群中，遞交給MapReduce數(shù)據(jù)處理工作的描述，并在工作結束后取回或者查看結果。在小的集群中hadoop的工作流程在計算機行業(yè)競爭如此激烈的情況下，究竟什么是Hadoop的生存之道？它又切實的解決了什么問題？簡而言之，商業(yè)及政府都存在大量的數(shù)據(jù)需要被快速的分析和處理。把這些大塊的數(shù)據(jù)切開，然后分給大量的計算機，讓計算機并行的處理這些數(shù)據(jù)—這就是Hadoop能做的。下面這個簡單的例子里，我們將有一個龐大的數(shù)據(jù)文件（給客服部門的電