基于hadoop開源框架的視頻內(nèi)容分發(fā)平臺研究

1、2013年3月月刊總第251期基于Hadoop開源框架的視頻內(nèi)容分發(fā)平臺研究摘要：本文分析了云計算的發(fā)展現(xiàn)狀和Hadoop開源云計算框架，分析了視頻內(nèi)容分發(fā)關(guān)鍵技術(shù)，在此基礎(chǔ)上提出了基于Hodoop開源框架的視頻內(nèi)容分發(fā)平臺設(shè)計。關(guān)鍵詞：云計算Hadoop開源視頻內(nèi)容分發(fā)平臺云存儲平臺文／廣播科學(xué)研究院葉志強劉晨鳴王一梅l概述繼個人計算機變革、互聯(lián)網(wǎng)變革之后，云計算被看作第三次IT浪潮，是戰(zhàn)略性新興產(chǎn)業(yè)的重要組成部分，云計算帶來了生活、

2、生產(chǎn)方式和商業(yè)模式的根本性變革，成為了當前全社會關(guān)注的熱點。云計算具有分布式海量存儲、資源配置可伸縮性、易于部署、高性價比等特性。一直以來，廣播電視行業(yè)作為視頻業(yè)務(wù)的提供者和擁有者，積累了大量的視頻數(shù)據(jù)，并且擁有的視頻數(shù)據(jù)還在呈幾何性增長。隨著技術(shù)的進步和三網(wǎng)融合進程的加快，國際上谷歌、蘋果、微軟，國內(nèi)電信、互聯(lián)網(wǎng)、電視終端的知名企業(yè)都在嘗試對用戶收看電視方式進行創(chuàng)新，電視正在從廣播式傳輸向互聯(lián)網(wǎng)化轉(zhuǎn)變，未來人們使用電視的方式將完全改變

3、，不再是拿著遙控器，在頻道之間來回轉(zhuǎn)換，而是隨時隨地地觀看自己想要的內(nèi)容，電視產(chǎn)業(yè)鏈的重心在向用戶端轉(zhuǎn)移，這將給傳統(tǒng)電視行業(yè)帶來顛覆性的沖擊。面對這種巨大沖擊，廣播電視內(nèi)容分發(fā)方式發(fā)生了轉(zhuǎn)變：不僅要面向播出機構(gòu)分發(fā)視頻內(nèi)容，還需向跨網(wǎng)絡(luò)、跨終端、面向個人用戶、快速分發(fā)等方式轉(zhuǎn)變；不僅要線性播出視頻內(nèi)容，還需向為用戶提供海量視頻點播、視頻檢索、智能推送等新的服務(wù)方式轉(zhuǎn)變。因此，研究并設(shè)計～種基于云計算的節(jié)目內(nèi)容分發(fā)平臺架構(gòu)，既可以利用現(xiàn)有

4、的媒資管理平臺，使得設(shè)備利舊等問題得以解決，又可以豐富視頻內(nèi)容分發(fā)的業(yè)務(wù)模式，為云計算應(yīng)用于廣電行業(yè)探索一條可行的路徑。2Hadoop開源云計算框架開源技術(shù)在云計算中的應(yīng)用非常普遍。開源技術(shù)的免費特性是其在云計算中廣泛應(yīng)用的原因之一，更重要的原因是開源技術(shù)能夠幫助開發(fā)者圍繞一個項目建立一個社區(qū)，從而推動云計算的快速創(chuàng)新和應(yīng)用。開源技術(shù)給云計算帶來的是更加開放和靈活的構(gòu)建方法。而不會給云計算帶來鎖定。因此很多互聯(lián)網(wǎng)企業(yè)、IT知名公司都致力

5、于開源云計算技術(shù)的研究和應(yīng)用，甚至直接構(gòu)建基于開源技術(shù)的云計算平臺，例如：Hadoop開源框架是Google公司著名的GFS、MapRe—duce對應(yīng)的開源實現(xiàn)，雅虎公司的云平臺就是使用Hadoop開源框架作為其基礎(chǔ)平臺；Enomaly開源平臺提供了一個功能類似于Amazon(亞馬遜)EC2的云計算框架；還有諸如Euca—lyptus、SectorandSphere等一些業(yè)內(nèi)非常有名的云計算開源平臺。Hadoop是Apache開源組織的

6、一個分布式計算框架，可以在大量廉價的硬件設(shè)備組成的集群上運行應(yīng)用程序，為應(yīng)用程序提供了一組穩(wěn)定可靠的接口，旨在構(gòu)建一個具有高可靠廣疆電狠信皇wwwrticn51萬方數(shù)據(jù)能力，整體系統(tǒng)的部署成本低，系統(tǒng)效率高，同時具有系統(tǒng)級的服務(wù)可靠性。但P2P技術(shù)在管理、安全性、穩(wěn)定性、大量占用網(wǎng)絡(luò)資源以及版權(quán)管理等方面存在明顯缺陷。4基于Hadoop開源框架的視頻內(nèi)容分發(fā)平臺設(shè)計云計算如何應(yīng)用于廣電，如何有效利用廣電行業(yè)豐富的音視頻內(nèi)容資源，使其高效

7、、可管可控地在內(nèi)容制作機構(gòu)、電視臺、播出機構(gòu)以及用戶之間“流動”起來，既能夠提高用戶體驗，又能夠節(jié)約資源共享成本，還能夠使資源得到多次的有效利用和再加工，使豐富的內(nèi)容資源成為再生內(nèi)容資源，我們做了如下思考：基于Hadoop開源框架可以搭建底層云存儲平臺，實現(xiàn)海量視頻內(nèi)容存儲、高效管理以及原有的設(shè)備利舊；利用Hadoop開源框架提供的系統(tǒng)API。結(jié)合不同操作系統(tǒng)的磁盤映射技術(shù)，可以設(shè)計中間層客戶端(Cli—ent)，實現(xiàn)底層硬件平臺對上層

8、應(yīng)用開據(jù)Hadoop開源框架提供的API搭建Client客戶端，以訪問底層存儲資源，并采用磁盤映射方式映射到應(yīng)用層所在的操作系統(tǒng)中，向上為應(yīng)用層提供訪問接口；應(yīng)用層無需考慮底層的具體實現(xiàn)，基于中間層提供的訪問接口開發(fā)各種應(yīng)用，如本平臺設(shè)計的平臺管理、DRM、內(nèi)容分發(fā)三個模塊。平臺設(shè)計時嚴格區(qū)分了控制信息流和數(shù)據(jù)傳輸流，既保證了數(shù)據(jù)的安全可靠性，同時還降低了中心節(jié)點的負擔(dān)。中心節(jié)點可以只承擔(dān)平臺管理功能，具體的視頻內(nèi)容傳輸可以依靠分節(jié)點完

9、成，如果中心節(jié)點也需要承擔(dān)視頻分發(fā)任務(wù)，可以把分發(fā)和管理兩個功能模塊分別指派給兩個服務(wù)器集群來完成。整個平臺采用模塊化的設(shè)計方式，分別是海量視頻內(nèi)容存儲模塊、視頻內(nèi)容分發(fā)模塊、平臺管理模塊、數(shù)字版權(quán)管理模塊幾個部分，具體模塊設(shè)計如下。(1)海量視頻內(nèi)容存儲模塊2013年3月月刊總第251期模塊采用基于Hadoop分布式文件系統(tǒng)(HDFS)來構(gòu)建底層存儲架構(gòu)?？蛻舳送ㄟ^NameNode管理文件系統(tǒng)的元數(shù)據(jù)，并通過元數(shù)據(jù)查找和使用實際存儲在

10、DataNode中的用戶數(shù)據(jù)。DataNode采用副本方式保證用戶數(shù)據(jù)的冗余，保障數(shù)據(jù)安全。HDFS框圖如圖5所示。(2)視頻內(nèi)容分發(fā)模塊這里借鑒了CDN和P2P混合傳輸技術(shù)的特點和實現(xiàn)方式，分發(fā)模塊框圖如圖6所示。節(jié)點分處不同地域，節(jié)目分發(fā)具有推送(push)和搜索下載(pull)兩種方式。各節(jié)點均可對其他節(jié)點推送視頻內(nèi)容，視頻用戶可以選擇距離用戶地最近的節(jié)點收看視頻；各節(jié)點也可在全網(wǎng)范圍內(nèi)提起視頻內(nèi)容搜索下載，中心節(jié)點會自動計算視頻

11、所在地信息和負載信息，采用共享傳輸方式加速傳輸視頻內(nèi)容到視頻搜索下載發(fā)起節(jié)點。(3)平臺管理模塊管理模塊主要實現(xiàn)如下功能：全網(wǎng)節(jié)點數(shù)據(jù)管理、處理節(jié)目分發(fā)／接發(fā)的無關(guān)性和松耦合；一～一——————9t卜應(yīng)用層在前面兩個層次的基礎(chǔ)上J刪“‘?！?。；j。。眥々ll乳州一結(jié)合CDN和P2P技術(shù)的特點，可以實現(xiàn)視頻內(nèi)容不同地域、無障礙的高效視頻內(nèi)容分發(fā)、去中心化、負載均衡、低成本部署、可管理性、安全性、版權(quán)可控等功能。。=，=rnt，在此基礎(chǔ)上，