hadoop 上編寫 mapreduce 程序

1、MapReduce是包含兩個(gè)過程：Map過程和Reduce過程。每一個(gè)過程都包含鍵值對作為輸入，程序員可以選擇鍵和值的類型。Map和Reduce的數(shù)據(jù)流是這樣的：Input==Map==MapperOutput==Stshuffle==Reduce==FinalOutput使用Java編寫HadoopMapReduce代碼MapReduce程序需要三個(gè)元素：Map，Reduce和運(yùn)行任務(wù)的代碼（在這里，我們把它叫做Invoker）。1）

2、創(chuàng)建）創(chuàng)建Map（可以是任何名字）類和（可以是任何名字）類和map函數(shù)函數(shù)map函數(shù)是在g.apache.hadoop.mapreduce.Mapper.class類中，以抽象方法定義的。01imptg.apache.hadoop.io.IntWritable02imptg.apache.hadoop.io.LongWritable03imptg.apache.hadoop.io.Text04imptg.apache.hadoop.ma

3、preduce.Mapper0506imptjava.io.IOException0708publicclassMapextendsMapper09privatefinalstaticIntWritableone=newIntWritable(1)10privateTextwd=newText()11publicvoidmap(LongWritablekeyTextvalueContextcontext)throwsIOExceptio

4、nInterruptedException13sum=intWritable.get()1415context.write(keynewIntWritable(sum))1617解釋：Reducer類是一個(gè)泛型類，帶有4個(gè)參數(shù)（輸入的鍵，輸入的值，輸出的鍵，輸出的值）。在這里輸入的鍵和輸入的值必須跟Mapper的輸出的類型相匹配，輸出的鍵是Text（關(guān)鍵字），輸出的值是Intwritable（出現(xiàn)的次數(shù)）3）我們已經(jīng)準(zhǔn)備號(hào)了）我們已經(jīng)準(zhǔn)

5、備號(hào)了Map和Reduce的實(shí)現(xiàn)類的實(shí)現(xiàn)類現(xiàn)在我們需要invoker來配置Hadoop任務(wù)，調(diào)用MapReduce程序。01imptg.apache.hadoop.conf.Configuration02imptg.apache.hadoop.fs.Path03imptg.apache.hadoop.io.Text04imptg.apache.hadoop.mapreduce.Job05imptg.apache.hadoop.mapre

6、duce.lib.input.FileInputFmat06imptg.apache.hadoop.mapreduce.lib.output.FileOutputFmat0708publicclassWdCount09publicstaticvoidmain(String[]args)throwsException10Configurationconfiguration=newConfiguration()11configuration