java流機(jī)制在hadoop分布式文件系統(tǒng)中的應(yīng)用

1、Java 流機(jī)制在 流機(jī)制在 Hadoop 分布式文件系統(tǒng)中的應(yīng)用 分布式文件系統(tǒng)中的應(yīng)用 ? Apache Hadoop 是一個分布式開源的軟件系統(tǒng)框架。 它被用于分布文式文件系統(tǒng)和用 MAP/REUDUCE 機(jī)制處理的大數(shù)據(jù)處理模型中。它包含多個由通用商業(yè)硬件組成的計算機(jī)集群。Hadoop 中所有的模塊設(shè)計都基于一個基本的假設(shè)即硬件錯誤是普遍發(fā)生并且可以自動被處理的。 ? Hadoop 的核心包括分布式的文件系統(tǒng)存儲即 H

2、DFS。 Hadoop 是用 Java 語言開發(fā)的，本文討論 Java 語言中的流機(jī)制在 HDFS 文件系統(tǒng)設(shè)計中的應(yīng)用。 ? 2 Java 語言中的流機(jī)制 ? 流是 java 語言所特有的機(jī)制，把數(shù)據(jù)的存取想象成從一個源源不斷的數(shù)據(jù)流中讀取，在 Java 中，創(chuàng)建輸入和輸出流對象時，以要操作的文件對象或者數(shù)據(jù)源頭作為構(gòu)造方法參數(shù)， 將輸入和輸出流與操作對象關(guān)聯(lián)。 ? 流的一端可以是數(shù)據(jù)、設(shè)備、網(wǎng)絡(luò)、內(nèi)存，根據(jù)數(shù)據(jù)的流向，數(shù)

3、據(jù)從網(wǎng)絡(luò)，設(shè)備，內(nèi)存等到創(chuàng)建好的流，稱為輸入流，數(shù)據(jù)從創(chuàng)建好的流到網(wǎng)絡(luò)，設(shè)備，內(nèi)存等，稱為輸出流。如圖 1、圖 2 所示。 ? 3 Hadoop 和 HDFS 文件系統(tǒng) ? Hadoop 是 Apach 公司實現(xiàn)的一個框架， 用 Java 語言開發(fā)， 從本質(zhì)上說，hadoop 實現(xiàn)了一個分布式集群，這個集群中有一個 master節(jié)點(diǎn)和多個 slave 節(jié)點(diǎn)，核心機(jī)制是 Map/Reduce 數(shù)據(jù)處理機(jī)制和? }finally

4、{ ? IOUtils.closeStream（input） ； ? } ? } ? } ? 需要注意的是，程序中的 static block 代碼塊，這個代碼塊的作用是， 將 URL 地址轉(zhuǎn)換為一個 HDFS 地址， 但是 JVM 只能調(diào)用一次這樣的代碼塊。 ? 通過 java 文件系統(tǒng)來訪問代碼： ? packageTestHdfs； ? importjava.io.BufferedInputStre

5、am； ? importjava.io.FileInputStream； ? importjava.io.FileNotFoundException； ? importjava.io.InputStream； ? importjava.io.OutputStream； ? importjava.net.URI； ? importorg.apache.hadoop.conf.Configuration； ? i