基于hadoop開源框架的視頻內容分發(fā)平臺研究

1、2013年3月月刊總第251期基于Hadoop開源框架的視頻內容分發(fā)平臺研究摘要：本文分析了云計算的發(fā)展現(xiàn)狀和Hadoop開源云計算框架，分析了視頻內容分發(fā)關鍵技術，在此基礎上提出了基于Hodoop開源框架的視頻內容分發(fā)平臺設計。關鍵詞：云計算Hadoop開源視頻內容分發(fā)平臺云存儲平臺文／廣播科學研究院葉志強劉晨鳴王一梅l概述繼個人計算機變革、互聯(lián)網變革之后，云計算被看作第三次IT浪潮，是戰(zhàn)略性新興產業(yè)的重要組成部分，云計算帶來了生活、

2、生產方式和商業(yè)模式的根本性變革，成為了當前全社會關注的熱點。云計算具有分布式海量存儲、資源配置可伸縮性、易于部署、高性價比等特性。一直以來，廣播電視行業(yè)作為視頻業(yè)務的提供者和擁有者，積累了大量的視頻數(shù)據(jù)，并且擁有的視頻數(shù)據(jù)還在呈幾何性增長。隨著技術的進步和三網融合進程的加快，國際上谷歌、蘋果、微軟，國內電信、互聯(lián)網、電視終端的知名企業(yè)都在嘗試對用戶收看電視方式進行創(chuàng)新，電視正在從廣播式傳輸向互聯(lián)網化轉變，未來人們使用電視的方式將完全改變

3、，不再是拿著遙控器，在頻道之間來回轉換，而是隨時隨地地觀看自己想要的內容，電視產業(yè)鏈的重心在向用戶端轉移，這將給傳統(tǒng)電視行業(yè)帶來顛覆性的沖擊。面對這種巨大沖擊，廣播電視內容分發(fā)方式發(fā)生了轉變：不僅要面向播出機構分發(fā)視頻內容，還需向跨網絡、跨終端、面向個人用戶、快速分發(fā)等方式轉變；不僅要線性播出視頻內容，還需向為用戶提供海量視頻點播、視頻檢索、智能推送等新的服務方式轉變。因此，研究并設計～種基于云計算的節(jié)目內容分發(fā)平臺架構，既可以利用現(xiàn)有

4、的媒資管理平臺，使得設備利舊等問題得以解決，又可以豐富視頻內容分發(fā)的業(yè)務模式，為云計算應用于廣電行業(yè)探索一條可行的路徑。2Hadoop開源云計算框架開源技術在云計算中的應用非常普遍。開源技術的免費特性是其在云計算中廣泛應用的原因之一，更重要的原因是開源技術能夠幫助開發(fā)者圍繞一個項目建立一個社區(qū)，從而推動云計算的快速創(chuàng)新和應用。開源技術給云計算帶來的是更加開放和靈活的構建方法。而不會給云計算帶來鎖定。因此很多互聯(lián)網企業(yè)、IT知名公司都致力

5、于開源云計算技術的研究和應用，甚至直接構建基于開源技術的云計算平臺，例如：Hadoop開源框架是Google公司著名的GFS、MapRe—duce對應的開源實現(xiàn)，雅虎公司的云平臺就是使用Hadoop開源框架作為其基礎平臺；Enomaly開源平臺提供了一個功能類似于Amazon(亞馬遜)EC2的云計算框架；還有諸如Euca—lyptus、SectorandSphere等一些業(yè)內非常有名的云計算開源平臺。Hadoop是Apache開源組織的

6、一個分布式計算框架，可以在大量廉價的硬件設備組成的集群上運行應用程序，為應用程序提供了一組穩(wěn)定可靠的接口，旨在構建一個具有高可靠廣疆電狠信皇wwwrticn51萬方數(shù)據(jù)能力，整體系統(tǒng)的部署成本低，系統(tǒng)效率高，同時具有系統(tǒng)級的服務可靠性。但P2P技術在管理、安全性、穩(wěn)定性、大量占用網絡資源以及版權管理等方面存在明顯缺陷。4基于Hadoop開源框架的視頻內容分發(fā)平臺設計云計算如何應用于廣電，如何有效利用廣電行業(yè)豐富的音視頻內容資源，使其高效

7、、可管可控地在內容制作機構、電視臺、播出機構以及用戶之間“流動”起來，既能夠提高用戶體驗，又能夠節(jié)約資源共享成本，還能夠使資源得到多次的有效利用和再加工，使豐富的內容資源成為再生內容資源，我們做了如下思考：基于Hadoop開源框架可以搭建底層云存儲平臺，實現(xiàn)海量視頻內容存儲、高效管理以及原有的設備利舊；利用Hadoop開源框架提供的系統(tǒng)API。結合不同操作系統(tǒng)的磁盤映射技術，可以設計中間層客戶端(Cli—ent)，實現(xiàn)底層硬件平臺對上層

8、應用開據(jù)Hadoop開源框架提供的API搭建Client客戶端，以訪問底層存儲資源，并采用磁盤映射方式映射到應用層所在的操作系統(tǒng)中，向上為應用層提供訪問接口；應用層無需考慮底層的具體實現(xiàn)，基于中間層提供的訪問接口開發(fā)各種應用，如本平臺設計的平臺管理、DRM、內容分發(fā)三個模塊。平臺設計時嚴格區(qū)分了控制信息流和數(shù)據(jù)傳輸流，既保證了數(shù)據(jù)的安全可靠性，同時還降低了中心節(jié)點的負擔。中心節(jié)點可以只承擔平臺管理功能，具體的視頻內容傳輸可以依靠分節(jié)點完

9、成，如果中心節(jié)點也需要承擔視頻分發(fā)任務，可以把分發(fā)和管理兩個功能模塊分別指派給兩個服務器集群來完成。整個平臺采用模塊化的設計方式，分別是海量視頻內容存儲模塊、視頻內容分發(fā)模塊、平臺管理模塊、數(shù)字版權管理模塊幾個部分，具體模塊設計如下。(1)海量視頻內容存儲模塊2013年3月月刊總第251期模塊采用基于Hadoop分布式文件系統(tǒng)(HDFS)來構建底層存儲架構?？蛻舳送ㄟ^NameNode管理文件系統(tǒng)的元數(shù)據(jù)，并通過元數(shù)據(jù)查找和使用實際存儲在

10、DataNode中的用戶數(shù)據(jù)。DataNode采用副本方式保證用戶數(shù)據(jù)的冗余，保障數(shù)據(jù)安全。HDFS框圖如圖5所示。(2)視頻內容分發(fā)模塊這里借鑒了CDN和P2P混合傳輸技術的特點和實現(xiàn)方式，分發(fā)模塊框圖如圖6所示。節(jié)點分處不同地域，節(jié)目分發(fā)具有推送(push)和搜索下載(pull)兩種方式。各節(jié)點均可對其他節(jié)點推送視頻內容，視頻用戶可以選擇距離用戶地最近的節(jié)點收看視頻；各節(jié)點也可在全網范圍內提起視頻內容搜索下載，中心節(jié)點會自動計算視頻

11、所在地信息和負載信息，采用共享傳輸方式加速傳輸視頻內容到視頻搜索下載發(fā)起節(jié)點。(3)平臺管理模塊管理模塊主要實現(xiàn)如下功能：全網節(jié)點數(shù)據(jù)管理、處理節(jié)目分發(fā)／接發(fā)的無關性和松耦合；一～一——————9t卜應用層在前面兩個層次的基礎上J刪“‘?！啊?；j。。眥々ll乳州一結合CDN和P2P技術的特點，可以實現(xiàn)視頻內容不同地域、無障礙的高效視頻內容分發(fā)、去中心化、負載均衡、低成本部署、可管理性、安全性、版權可控等功能。。=，=rnt，在此基礎上，