基于Hadoop的海量視頻數(shù)據(jù)存儲(chǔ)及轉(zhuǎn)碼系統(tǒng)的研究與設(shè)計(jì).pdf

1、隨著物聯(lián)網(wǎng)的不斷發(fā)展與演化，它產(chǎn)生的各種數(shù)據(jù)將急劇增長(zhǎng)，流媒體傳輸作為物聯(lián)網(wǎng)行業(yè)的一個(gè)重要應(yīng)用，其產(chǎn)生的視頻數(shù)據(jù)是海量的。如果以集中存儲(chǔ)的方式存放這些流媒體數(shù)據(jù)將付出昂貴的代價(jià)，也很難實(shí)現(xiàn)數(shù)據(jù)存儲(chǔ)與分析的一體化。
　　海量數(shù)據(jù)的存儲(chǔ)與處理，近年來(lái)已經(jīng)有了很多深入的研究，大量開(kāi)源的云計(jì)算框架被提出。Hadoop作為分布式大數(shù)據(jù)存儲(chǔ)與分析的工具，主要被應(yīng)用于互聯(lián)網(wǎng)、醫(yī)療系統(tǒng)等非視頻業(yè)務(wù)數(shù)據(jù)的存儲(chǔ)與處理。由于流媒體數(shù)據(jù)在文件格式、存儲(chǔ)方

2、式和搜索方式上與普通數(shù)據(jù)有很大的不同，直接將Hadoop應(yīng)用到網(wǎng)絡(luò)流媒體傳輸系統(tǒng)中將面臨許多挑戰(zhàn)。論文通過(guò)深入研究Hadoop框架和流媒體數(shù)據(jù)的特點(diǎn)，實(shí)現(xiàn)了海量視頻數(shù)據(jù)的分布式存儲(chǔ)與處理。本文完成的主要工作如下:
　　1.分析了HDFS和MapReduce框架，以及網(wǎng)絡(luò)流媒體傳輸系統(tǒng)，給出了海量視頻數(shù)據(jù)存儲(chǔ)與轉(zhuǎn)碼系統(tǒng)的需求分析，提出了系統(tǒng)的設(shè)計(jì)方案。
　　2.完成對(duì)流媒體數(shù)據(jù)的存儲(chǔ)、HDFS上流媒體數(shù)據(jù)文件的讀寫(xiě)、分布式轉(zhuǎn)碼