hadoop進(jìn)階一【初識(shí)篇】

1、深入理解Hadoop集群和網(wǎng)絡(luò)摘要：摘要：本文將著重于討論Hadoop集群的體系結(jié)構(gòu)和方法，及它如何涉及到網(wǎng)絡(luò)和服務(wù)器基礎(chǔ)設(shè)施。開始我們先學(xué)習(xí)一下Hadoop集群運(yùn)作的基礎(chǔ)。導(dǎo)讀：云計(jì)算和導(dǎo)讀：云計(jì)算和Hadoop中網(wǎng)絡(luò)是討論得相對(duì)比較少的領(lǐng)域。本文中網(wǎng)絡(luò)是討論得相對(duì)比較少的領(lǐng)域。本文原文原文由Dell企業(yè)技術(shù)專家企業(yè)技術(shù)專家BradHedlund撰寫，他撰寫，他曾在思科工作多年，專長(zhǎng)是數(shù)據(jù)中心、云網(wǎng)絡(luò)等。文章素材基于作者自己的研究、實(shí)

2、驗(yàn)和曾在思科工作多年，專長(zhǎng)是數(shù)據(jù)中心、云網(wǎng)絡(luò)等。文章素材基于作者自己的研究、實(shí)驗(yàn)和Cloudera的培訓(xùn)資料。的培訓(xùn)資料。本文將著重于討論Hadoop集群的體系結(jié)構(gòu)和方法，及它如何與網(wǎng)絡(luò)和服務(wù)器基礎(chǔ)設(shè)施的關(guān)系。最開始我們先學(xué)習(xí)一下Hadoop集群運(yùn)作的基礎(chǔ)原理。Hadoop里的服務(wù)器角色Hadoop主要的任務(wù)部署分為3個(gè)部分，分別是：Client機(jī)器，主節(jié)點(diǎn)和從節(jié)點(diǎn)。主節(jié)點(diǎn)主要負(fù)責(zé)Hadoop兩個(gè)關(guān)鍵功能模塊HDFS、MapReduce

3、的監(jiān)督。當(dāng)JobTracker使用MapReduce進(jìn)行監(jiān)控和調(diào)度數(shù)據(jù)的并行處理時(shí)，NameNode則負(fù)責(zé)HDFS監(jiān)視和調(diào)度。從節(jié)點(diǎn)負(fù)責(zé)了機(jī)器運(yùn)行的絕大部分，擔(dān)當(dāng)所有數(shù)據(jù)儲(chǔ)存和指令計(jì)算的苦差。每個(gè)從節(jié)點(diǎn)既扮演者數(shù)據(jù)節(jié)點(diǎn)的角色又沖當(dāng)與他們主節(jié)點(diǎn)通信的守護(hù)進(jìn)程。守護(hù)進(jìn)程隸屬于JobTracker，數(shù)據(jù)節(jié)點(diǎn)在歸屬于名稱節(jié)點(diǎn)。Client機(jī)器集合了Hadoop上所有的集群設(shè)置，但既不包括主節(jié)點(diǎn)也不包括從節(jié)點(diǎn)。取而代之的是客戶端機(jī)器的作用是把數(shù)據(jù)

4、加載到集群中，遞交給MapReduce數(shù)據(jù)處理工作的描述，并在工作結(jié)束后取回或者查看結(jié)果。在小的集群中hadoop的工作流程在計(jì)算機(jī)行業(yè)競(jìng)爭(zhēng)如此激烈的情況下，究竟什么是Hadoop的生存之道？它又切實(shí)的解決了什么問(wèn)題？簡(jiǎn)而言之，商業(yè)及政府都存在大量的數(shù)據(jù)需要被快速的分析和處理。把這些大塊的數(shù)據(jù)切開，然后分給大量的計(jì)算機(jī)，讓計(jì)算機(jī)并行的處理這些數(shù)據(jù)—這就是Hadoop能做的。下面這個(gè)簡(jiǎn)單的例子里，我們將有一個(gè)龐大的數(shù)據(jù)文件（給客服部門的電