多媒體系統(tǒng)平臺

1、多媒體系統(tǒng)平臺,什么是多媒體系統(tǒng)平臺？ ----供用戶開發(fā)各種多媒體應用的計算機系統(tǒng) 條件：。多媒體的獲取與演示。多媒體數(shù)據(jù)的管理與操作。用戶開發(fā)環(huán)境,1基于PC計算機的多媒體系統(tǒng) -- MPC,MPC 定義（1990年）：。主機： 80386SX， 2M 內(nèi)存， 30M 硬盤。VGA 顯示卡。 CD-ROM 驅(qū)動器。聲卡，MIDI接口。１０１鍵盤，鼠標器。DOS 3.1 或　WINDOW

2、S 3.1。圖象卡（可選項）,MPC 結構圖,,1。1。CD-ROM與光盤系統(tǒng),．原理與分類。盤面：　覆蓋層：刻有細槽，稱為凹坑，其余為凸岸（Land） 反射層：在凹坑處能反射光線。工作原理：　在激光照射下, 凹坑與凸岸分別產(chǎn)生不同的光反射現(xiàn)象，從而編碼成為"0""1"數(shù)碼。,,。 特點：1。高密度，道寬 d1 = 0。6μm ，

3、 道間距d2 = 1。6μm 每英寸 16000 道，（磁盤 96 道） 數(shù)據(jù)密度1 M bit/平方毫米2。高可靠，不受溫度、電磁影響， 平常條件下30年不變 。類型： 可讀寫光盤（R/W）:一次寫入光盤（WORM）只讀光盤（CD-ROM）,．,CD-DA : 音樂光盤，稱為紅皮書，

4、 數(shù)據(jù)格式： 擴充：CD-G 圖象光盤， CD_V 視頻光盤CD-ROM: 數(shù)據(jù)光盤，稱為黃皮書，音樂、數(shù)據(jù)共存數(shù)據(jù)格式：,二。標準格式．,3．CD-ROM/XA: 多媒體光盤；采用Subheader分別 4．其他：CD-I 交互多媒體系統(tǒng)CD-I專用 ； CD-MO 磁光盤；DVI DVI系統(tǒng)專用,三。CD-ROM 驅(qū)動器．速度：300

5、k Byte/秒； ．存取時間：200--400 ms ; 尋址 1000ms．容量： 640M Byte,1.2聲卡,一． 聲音處理1．聲音輸入輸出：A/D,D/A, 濾波2．聲音壓縮: DSP芯片,ADPCM編碼3．混音器拾聲，CD/ DA ， 話筒（MIC），合成器(FM)二．合成器 -人工合成聲音1．波形表：各種樂器的音色參數(shù)2．合成器FM頻率調(diào)制合成，

6、產(chǎn)生不同頻率和波形振幅，產(chǎn)生不同聲音。,1.2聲卡,三．MIDI．定義：電子樂器的接口，實質(zhì)上是音樂信息處理器。．要素： 1 )硬件端口：MIDI端口 2 )MIDI數(shù)據(jù)格式文件： ·音符(note)：時間，基頻，音量 ·消息：事件-動作：按鍵盤，力度，調(diào)音塊滑動 3）裝置、通道,三. MIDI,3．裝置：·合成器，波形發(fā)生器 （音

7、質(zhì)，音色，音量）·控制鍵盤，功能面板·微處理器，存儲器·音序器（編輯器）·節(jié)律器4．消息：·傳遞事件信息·數(shù)據(jù)/狀態(tài)·類型：通道（達16種）系統(tǒng)信息：時鐘，同步信號，命令,1.2圖像卡,一．功能：1．捕捉實時視頻圖像（PAL，NTSC制），數(shù)字化，存儲。2．控制視頻圖像的顯示，開窗，放大。3．疊加VGA圖形文字。二. 基本結

8、構：,二. 基本結構：,1.輸入模塊：·A/D轉(zhuǎn)換：（TDA8708）數(shù)字化PAL，NTSC編碼，13.5M采樣率·數(shù)字解碼：（SAA9051）得到YUV， 色調(diào)，亮度控制·同步控制，鎖相（SAA9057）2．視窗控制塊：82C9001A與VRAM·實時開窗顯示。·放大，漂移。·馬賽克效應。·VGA聯(lián)合顯示，色彩聯(lián)合3．顯示：·色彩空間

9、轉(zhuǎn)換：（SAA9060, TDA4680）YUV -> RGB·多路混合：(74HCT 4053) 與VGA的RGB信號混合顯示。,三. PC機控制：,1．AT總線接口：（74LS682 74LS254） 與視窗控制 模塊相連。功能：PC對VRAM圖像數(shù)據(jù)讀取PC發(fā)布顯示控制命令--顯示方式、狀態(tài)寄存器設置。2．VGA聯(lián)結：·同步時鐘信號。·彩色鍵聯(lián)：彩色匹配，分辨

10、率配合。四． 意義： 數(shù)字化電視的基礎,,特點：本身帶有CPU，能高速處理多媒體。與主機（Hoster 計算機）有松散的關系。,2專用多媒體系統(tǒng),2.1CD-I交互式多媒體系統(tǒng)Philips/Sony 86年聯(lián)合推出，為以光盤為中心的家用多媒體播放系統(tǒng)。,一．基本結構：主存ROM（RTOS實時操作系統(tǒng)，字庫）主機 68000（CPU）總線 CD-I Bus視頻，音頻處理子系統(tǒng),二. 音頻處理子系統(tǒng)

11、：,1．數(shù)據(jù)（來自光盤）PCM，ADPCM級別 編碼 采樣率（Hz）分辨率 聲道 時間（時）超級HiFi PCM 44.1K 16 2 1激光唱盤 ADPCM-A 37.8K 8

12、 2 2 FM廣播級 ADPCM-B 37.8K 4 4 4AM ADPCM-C 18.9K 4 8 8,2．結構：,音頻處理：混合左右聲道， D/A轉(zhuǎn)換。特技

13、處理：音量控制， 混合特殊效果。,三．視頻處理子系統(tǒng)：,1．數(shù)據(jù)： ·DYUV（8：4：4）-> YUV（8*8*8）真彩色 224 ·RGB5*5*5高質(zhì)量圖形215 ·CLUT8，7，4偽彩色28,27,24 ·RL（行程碼） 7，3簡單圖形27,232．顯示方式：四圖像疊加 Fi

14、g.5-2-3圖像0： 光標（16*16）優(yōu)先顯示圖像1，2： 主圖像（A，B）圖像3： 背景,3. 結構：,3. 結構：,存儲體與存儲控制：存放圖像A，B，控制器控制CD-I總線數(shù)據(jù)輸入。·實時解碼： ·圖像重疊：顏色切換--顯示主查色表 重疊控制--產(chǎn)生透明區(qū)·

15、像素保存：顯示緩沖器，放大，開窗，馬賽克，特效處理。·混合：A，B圖像 + 游標 + 背景·圖像影響：亮度變化（淡入淡出。。。）,四. CD-I操作特點,1．操作系統(tǒng)：CD-RTOS在CPU M68000中運行的操作系統(tǒng)，協(xié)調(diào)各個模塊的工作。2．應用程序和數(shù)據(jù)預先編好，從CD-ROM光盤中裝入RAM中運行。3．用戶通過定位（鍵盤，操縱桿）控制程序的運行。4．無用戶開發(fā)環(huán)境,2.2 . DV

16、I 系統(tǒng),Intel 公司開發(fā)Action Media 750型芯片主要部件：象素處理器 + 顯示處理器 I 型： 82750PA 82750DA II 型：82750PB 82750DB 特點：微程序驅(qū)動，稱為視頻音頻引擎(AVE),一。系統(tǒng)結構,,一，系統(tǒng)結構,1. 總線結構 2 .主系統(tǒng)： “主機” 82750PB + 主存VRAM(16M) +

17、 顯示82750DB 3. 音頻、視頻的輸入輸出 4．宿主機數(shù)據(jù)交換接口二．DVI 總線 1． 32位數(shù)據(jù)地址總線 2。仲裁原則：主系統(tǒng)總線優(yōu)先,三。象素處理器（PB）．,1。 功能： 視頻圖象壓縮解碼2．結構特點： 。微程序驅(qū)動 （25MPS） 。ALU + 桶形移位寄存器 （數(shù)據(jù)流處理） 。4 FIFO I/O 接口寄存器 。象素插入器，

18、 統(tǒng)計譯碼器 （圖象處理）,．四。顯示處理器. DB,,1. 支持多制式視頻: PAL、 NTSC、 VGA 2. 顯示 VRAM: YUV、RGB(加上CLUT)、DYUV圖象 3. 象素插入：不同圖象之間的變換、同步。 4．同步信號： 與VGA 鍵聯(lián)（大小時序）五。音頻處理接口 1．Keying 2．音頻： 獲取、放大/濾波、DSP處理器、ADPCM碼 六。視頻接口

19、 1．Capture 捕獲圖象源： NTSC、 PAL、 VGA、 RGB 、 YUV 2。SCSI 接口： CD-ROM ， 掃描機,．七。宿主機接口,。DC/DS 總線接口。用于DVI總線仲裁結論：?？偩€+模塊式計算機結構。微碼控制、可編程。未用于音頻、視頻實時處理,5 .2.3多媒體工作站,一。 圖形工作站特點 1．高速CPU2. 采用圖形處理器：實時工作、動態(tài)生成3. 高速內(nèi)

20、部總線二．多媒體的擴充1．音頻處理塊 DSP芯片、A/D（48KHZ采樣率）CD 、MIC輸入、音箱耳機2．視頻塊、（Video 板）： 。視頻總線獨立播放 。與圖形合成 。捕捉圖象三．一體化結構。所有硬件內(nèi)置成一體，用戶不能增、減。所有軟件內(nèi)置于UNIX中，與UNIX 用戶接口一致,3 多媒體平臺的操作系統(tǒng),3．1. 多媒體操作系統(tǒng)一般問題一。多媒體的特點 1．連續(xù)性、時間上

21、不得間斷 2．不同媒體的同步 3。實時性 4。媒體的數(shù)據(jù)存儲與表達方式--------文件管理 二．結構特點1．多媒體設備的驅(qū)動器2．文件管理——統(tǒng)一的多媒體、抽象化模型（邏輯名、操作）3. 實時多任務調(diào)度4。用戶接口：工具、功能庫、語言,,3.2 . CD-I系統(tǒng)的CD-RTOS,一。 結構1．設備驅(qū)動模塊2．文件管理： CD、用戶、非易失RAM文件3．RTOS4. 用戶接口,二．RTOS工作

22、原理．,1。實時文件。格式?；久襟w單元 。文件頭部（RTCA）實時命令、播放控制信息2．實時解釋器。PCL ：演示控制表，存放RTCA 頭部信息。PCB ：演示控制塊： 根據(jù)控制表的命令和文件中的媒體單元向演示裝置輸出媒體數(shù)據(jù),3。RTOS工作特點。,數(shù)據(jù)操作按同步關系封裝于同一文件中——數(shù)據(jù)流按解釋方式進行操作：靈活不變應萬變。所以RTOS 封裝于ROM中,3.3. DVI的AV

23、SS/RTX操作系統(tǒng),結構圖： Fig 5-3-4,,一。結構圖： Fig 5-3-41．驅(qū)動器： PB、 DB 、AVD 、DPS （用戶）多功能裝置2．用戶接口：生產(chǎn)工具、命令式編程著作語言、流程圖式、故事板式交互編程二．圖形處理器GR．功能： 。對VRAM中的位圖進行圖象、圖形、文本操作處理 。填色、勾邊、字體、疊加、透明與覆蓋 。操作函數(shù) GrCopyRect

24、( )矩形景象的變換復制 GrWarp( ) 交叉變換、橡皮膜拉伸效應 GrScaleRect ( ) 矩形變換,三．AVSS/RTV 動態(tài)圖象的播放,．AVSS文件格式 。數(shù)據(jù)流文件．RTX 多任務實時控制 播放過程 Fig5-3-7,,3。4。QuickTime 的Movie 操作系統(tǒng),一。Movie文件管理系統(tǒng)1 ．Movie 文件系統(tǒng)：。Trace 通道區(qū)：播放

25、一段媒體。movie 畫面區(qū)：多個Trace組成，。Media 媒體數(shù)據(jù)源2．軌道Track :。程序部分：根據(jù)數(shù)據(jù)完成特定時間、任務播放一段媒體。數(shù)據(jù)部分： 。時間尺度、時間坐標軸 。段的開始、持續(xù)時間、播放速度 。顯示的屏幕位置或聲音的通道號 。指針：指向一段媒體的物理源（Media 區(qū)）地址的指針,二．同步機制．,1 .Movie 的Track序列：可定義每一個Track 的數(shù)據(jù)

26、部分，確定了播放的時序２．動態(tài)畫面管理器　 Movie Manager 同步控制每個Track 的工作：把數(shù)據(jù)解壓縮、顯示 把聲音數(shù)據(jù)同步輸入發(fā)聲器,三．數(shù)據(jù)的壓縮速度和設備驅(qū)動,１．圖象壓縮器。圖片壓縮。視頻壓縮。動畫壓縮2．部件管理器。多媒體設備接口：自動選擇提供最好 的驅(qū)動設備 和最好的服務 四．用戶接口：　 . Movie Toolbox。Movie 文件的編輯。對話箱OpenFile