第1章-多媒體技術(shù)概述

1、多媒體通信,北京科技大學(xué)楊 揚(yáng),第1章 多媒體技術(shù)概述,多媒體技術(shù)的基本概念多媒體的特征多媒體計(jì)算機(jī)技術(shù)的發(fā)展歷史多媒體技術(shù)的主要內(nèi)容多媒體技術(shù)的應(yīng)用多媒體技術(shù)的發(fā)展趨勢,1、基本概念,什么是媒體？ 媒體（Medium）在計(jì)算機(jī)領(lǐng)域中有兩種含義，一是指用以存儲信息的實(shí)體，如磁盤、磁帶、光盤和半導(dǎo)體存儲器；一是指信息的載體，如數(shù)字、文字、聲音、圖形圖像和視頻等。CCITT曾給媒體做了如下的分類： 感覺媒

2、體（Perception Medium） 表示媒體（Representation Medium） 顯示媒體（Presentation Medium） 存儲媒體（Storage Medium） 傳輸媒體（Transmission Medium）,1、基本概念,1、基本概念,什么是多媒體？ “多媒體”譯自20世紀(jì)80年代初產(chǎn)生的英文詞“multimedia”，最早出現(xiàn)于美國麻省理工學(xué)院(MIT)遞交給國防

3、部的一個(gè)項(xiàng)目計(jì)劃報(bào)告中。 多媒體是指信息表示媒體的多樣化，常見的多媒體有文字、圖形、圖像、聲音、音樂、視頻、動(dòng)畫等多種形式。 多媒體技術(shù)是利用計(jì)算機(jī)技術(shù)把文本、聲音、視頻、動(dòng)畫、圖形和圖像等多種媒體進(jìn)行綜合處理，使多種信息之間建立邏輯連接，集成為一個(gè)完整的系統(tǒng)。,單一媒體：文本、聲音、 視頻、動(dòng)畫、圖形、圖像,集成的多媒體系統(tǒng),綜合處理各種媒 體，建立信息間 的邏輯鏈接,2、多媒體的特征,多媒體從本質(zhì)上來說具有三個(gè)最

4、重要的特征:-- 多維化 -- 集成性 -- 交互性 除了以上三個(gè)特征，實(shí)際上多媒體還具有很多其它的特征，例如實(shí)時(shí)性，它主要指類似聲音和視頻這樣的媒體，它們具有很強(qiáng)的時(shí)間相關(guān)性。,2.1多媒體的特征—多維化,多維化是指信息媒體的多樣化。它使人們思想的表達(dá)不再限于順序的、單調(diào)的、狹小的范圍內(nèi)，而有充分自由的余地。多媒體信息多維化不僅是指輸入，而且還指輸出，目前主要包括聽覺和視覺兩個(gè)方面。,2.2多媒體的特征—集成性

5、,這不僅是指多媒體設(shè)備集成，而且也包含多媒體信息集成或表現(xiàn)集成。 早期的各項(xiàng)技術(shù)都可以單一使用和應(yīng)用，但很難有大的作為，因?yàn)樗鼈兪菃我坏摹⒘闵⒌?，如聲音、圖像和交互式技術(shù)等。 信息空間的不完整（例如，僅有靜態(tài)圖像而無動(dòng)態(tài)視頻、僅有聲音而無圖形等）都限制了信息空間中的信息組織，也就限制了信息的有效使用。,2.3多媒體的特征—交互性,這是人們獲取和使信息變被動(dòng)為主動(dòng)的最為重要的特征。 多媒體信息空間中的交互性向用戶提供更加有效地

6、控制和使用信息的手段，同時(shí)也為應(yīng)用開辟了更廣闊的領(lǐng)域，交互可以增加對信息的注意和理解，延長保留的時(shí)間。,3、多媒體技術(shù)的發(fā)展歷史,多媒體及多媒體技術(shù)產(chǎn)生于20世紀(jì)80年代1984年Apple公司引入“位圖”的概念進(jìn)行圖像處理，并使用窗口和圖標(biāo)作為用戶界面，這標(biāo)志著多媒體技術(shù)的產(chǎn)生和應(yīng)用1986年P(guān)HILIPS和SONY公司聯(lián)合推出了交互式緊湊光盤系統(tǒng)，能夠?qū)⒙曇簟⑽淖?、圖形、圖像等數(shù)字化信息存儲到光盤上1990年P(guān)HILIP

7、S等十多家廠商成立多媒體市場協(xié)會，并制定了MPC(多媒體計(jì)算機(jī))市場標(biāo)準(zhǔn),MPC最低功能要求規(guī)格,4、多媒體技術(shù)的主要內(nèi)容,4.1多媒體的軟硬件平臺軟件及硬件平臺是實(shí)現(xiàn)多媒體系統(tǒng)的物質(zhì)基礎(chǔ)，其中每一項(xiàng)重要的技術(shù)突破都直接影響到多媒體的發(fā)展與應(yīng)用的進(jìn)程。除了硬件和操作系統(tǒng)，軟硬件平臺還包括多媒體制作、編輯和應(yīng)用系統(tǒng)。,4.1多媒體的軟硬件平臺,多媒體應(yīng)用系統(tǒng),多媒體創(chuàng)作編輯軟件,多媒體制作平臺與工具,多媒體核心系統(tǒng)軟件,多媒體計(jì)算機(jī)

8、硬件系統(tǒng),,4.2專用芯片,數(shù)字化后的音頻和視頻數(shù)據(jù)量非常大，因此必須進(jìn)行壓縮并需要大容量的存儲器；音頻和視頻的輸入和輸出是實(shí)時(shí)的，需要高速度。要實(shí)現(xiàn)以上基本的要求，在很多情況下需要專用硬件支持。多媒體計(jì)算機(jī)專用芯片可歸納為兩種類型： 固定功能的芯片 可編程的處理器,4.3數(shù)據(jù)壓縮及編碼技術(shù),多媒體系統(tǒng)要求具有綜合處理聲、圖、文的能力，面臨的主要問題是巨大的數(shù)據(jù)量，尤其是對動(dòng)態(tài)圖形和視頻圖像一幅中等分辨率

9、彩色圖像(分辨率為640×480，256色，8bit/像素)大約需0.293M字節(jié)的存儲空間，如果用電話線的標(biāo)準(zhǔn)速率(2400bps)傳輸約需17分鐘，一幅同樣分辨率的真彩色(24bit/像素)圖像的數(shù)據(jù)量約為7.37Mbit，一個(gè)1000MB（等于8000Mbit）的硬盤只能存約1000幀靜止畫面，一秒鐘全動(dòng)態(tài)視頻畫面（25幀）約占23.03MB空間，650MB的CD-ROM只能存放約28秒圖像信息。,1分鐘數(shù)字音頻信號需要

10、的存儲空間,1分鐘數(shù)字視頻信號需要的存儲空間,4.4多媒體同步,在對多媒體數(shù)據(jù)進(jìn)行綜合處理時(shí)，不僅要考慮到各種媒體的相對獨(dú)立性，為了達(dá)到較好的信息表示效果，還要注意保持媒體之間在時(shí)間和空間上的相關(guān)性。多媒體信息以三種方式相互集成：制約式協(xié)作式交互式,4.5多媒體網(wǎng)絡(luò)與分布式處理技術(shù),多媒體單機(jī)系統(tǒng)的研究目前已相對成熟，但對多媒體計(jì)算機(jī)網(wǎng)絡(luò)的研究目前還不夠成熟 數(shù)字化的網(wǎng)絡(luò)集多媒體信息的獲取、存儲、處理、編輯、綜合、傳輸于一體

11、，并運(yùn)行于網(wǎng)絡(luò)上，網(wǎng)絡(luò)的任意節(jié)點(diǎn)都可以共享網(wǎng)上的多媒體信息多媒體技術(shù)要充分發(fā)展其對多媒體信息的處理能力，必須與網(wǎng)絡(luò)技術(shù)相結(jié)合 運(yùn)行于網(wǎng)絡(luò)環(huán)境下多媒體系統(tǒng)，因?yàn)樗軌虿皇軙r(shí)空限制地使多個(gè)用戶透明地共享網(wǎng)上的數(shù)據(jù)，特別是多個(gè)用戶同時(shí)共同對一個(gè)數(shù)據(jù)文件進(jìn)行編輯，這使得多媒體技術(shù)有了更廣泛的應(yīng)用,4.6信息的組織與管理,多媒體數(shù)據(jù)量巨大，種類繁多，每種媒體之間差異很明顯，但又存在某種關(guān)聯(lián)性。如何管理、組織這些數(shù)據(jù)？如何從各種數(shù)據(jù)中找出所要信

12、息？如何表現(xiàn)這些多媒體信息？新型的信息管理方法：超媒體（Hypermedia） 信息的組織不是線性的，而是按照某種方式以非線性的形式進(jìn)行存儲、管理和瀏覽。超文本和超媒體適合表達(dá)多媒體信息,4.7多媒體數(shù)據(jù)存儲,隨著因數(shù)字化、網(wǎng)絡(luò)化而開展的各種應(yīng)用的不斷增加，對多媒體網(wǎng)絡(luò)存儲系統(tǒng)的要求也越來越高。這些要求不僅體現(xiàn)在存儲容量上，還包括以下幾個(gè)方面。 可用性和可訪問性可靠性可擴(kuò)展性 靈活性 安全性

13、易管理性 良好的性價(jià)比,4.8虛擬現(xiàn)實(shí)技術(shù),所謂虛擬現(xiàn)實(shí)，就是采用計(jì)算機(jī)技術(shù)生成一個(gè)逼真的視覺、聽覺、觸覺及嗅覺的感覺世界，用戶可以用人的自然技能對這個(gè)生成的虛擬實(shí)體進(jìn)行交互考察。這個(gè)概念包含三層含義： - 虛擬實(shí)體用計(jì)算機(jī)來生成的一個(gè)逼真的實(shí)體； - 用戶可以通過人的自然技能(人的頭部轉(zhuǎn)動(dòng)、眼動(dòng)、手勢或其它的身體動(dòng)作)與這個(gè)環(huán)境交互； - 要借助于一些三維傳感設(shè)備來完成交互動(dòng)作，常用的如頭盔立體顯示器、數(shù)據(jù)手套、數(shù)據(jù)服裝

14、、三維鼠標(biāo)等。,4.9人機(jī)界面設(shè)計(jì),人機(jī)界面設(shè)計(jì)的目的是通過對用戶需求的解釋達(dá)到一種人機(jī)之間較好的通信能力。需要以下幾個(gè)方面的研究： ① 穩(wěn)健的語言處理模式，包括語音識別和自然語言理 解。 ② 手勢分析和理解模型的設(shè)計(jì)。 ③ 上述兩個(gè)方面的通信模式的融合，因?yàn)槎咧g在 對用戶需求的理解上是相互補(bǔ)充的。 ④ 多模式環(huán)境中的對話管理。這是保證一個(gè)連續(xù)的對 話過程所必需的。,

15、4.10高速多媒體通信技術(shù),高速多媒體通信技術(shù)是指為滿足新一代信息系統(tǒng)中實(shí)時(shí)多媒體信息傳輸?shù)男枰W(wǎng)絡(luò)的帶寬可能要在1000Gbps以上，而且能支持服務(wù)質(zhì)量控制，以適應(yīng)不同媒體傳輸質(zhì)量的要求。解決三個(gè)方面的難度：相對于傳統(tǒng)的數(shù)據(jù)應(yīng)用而言，網(wǎng)絡(luò)多媒體應(yīng)用通常需要更高的網(wǎng)絡(luò)帶寬；大多數(shù)的多媒體應(yīng)用都要求實(shí)時(shí)傳輸；多媒體數(shù)據(jù)流通常都存在一定的突發(fā)性，僅僅增加帶寬還不能解決突發(fā)性所帶來的問題。,5、多媒體技術(shù)的應(yīng)用,音/視頻點(diǎn)播 電

16、子出版物 醫(yī)療衛(wèi)生游戲與娛樂 計(jì)算機(jī)視頻會議 多媒體展示和信息查詢系統(tǒng) MIS(管理信息系統(tǒng))與OA(辦公自動(dòng)化) 傳媒、廣告 教學(xué)管理系統(tǒng) 移動(dòng)衛(wèi)星,6、多媒體技術(shù)的發(fā)展趨勢,計(jì)算機(jī)技術(shù)和網(wǎng)絡(luò)通信技術(shù)的結(jié)合為多媒體技術(shù)的進(jìn)一步應(yīng)用和發(fā)展提供了巨大的可能性，目前這種可能性已經(jīng)逐漸變?yōu)楝F(xiàn)實(shí)。多媒體技術(shù)的未來將朝著智能化和三維化兩個(gè)方向發(fā)展。,6.1多媒體技術(shù)的發(fā)展趨勢—智能化,多媒體技術(shù)中最主要的處理對象就是數(shù)字音頻和

17、數(shù)字圖像，這里的數(shù)字圖像包括了靜態(tài)圖像和動(dòng)態(tài)圖像（視頻、動(dòng)畫）。對數(shù)字音頻的研究，主要涉及的是壓縮編碼和語音識別，而對數(shù)字圖像的研究包括了壓縮編碼、圖像分析識別和圖像理解。無論是自然語言的理解還是圖像理解，都將涉及“智能化”，而智能化的目標(biāo)就是實(shí)現(xiàn)人與計(jì)算機(jī)的自然交互。人類一般都是用概念來表達(dá)意志，但是計(jì)算機(jī)存儲的都是低層的數(shù)據(jù)，因此很難把這些概念表述出來。這樣就提出來一個(gè)如何智能化處理的問題。人機(jī)交互、語義網(wǎng),6.2多媒體技術(shù)的

18、發(fā)展趨勢—三維化,多媒體技術(shù)的一個(gè)重要研究內(nèi)容就是將計(jì)算機(jī)視覺技術(shù)和圖形學(xué)技術(shù)的內(nèi)容結(jié)合起來，即實(shí)現(xiàn)所謂的增強(qiáng)現(xiàn)實(shí)技術(shù)。這樣做可以將諸如視頻會議系統(tǒng)的現(xiàn)場圖像和計(jì)算機(jī)生成的圖像疊加在一起，使多媒體的應(yīng)用效果產(chǎn)生極大的改觀，應(yīng)用范圍也隨之發(fā)生新的拓展。計(jì)算機(jī)圖形學(xué)從二維圖形發(fā)展到復(fù)雜的、高質(zhì)量的三維的環(huán)境，其相關(guān)的技術(shù)已經(jīng)得到廣泛的應(yīng)用。在娛樂方面，電影和計(jì)算機(jī)游戲中廣泛地使用計(jì)算機(jī)圖形學(xué)。動(dòng)畫片發(fā)展到完全靠計(jì)算機(jī)制作，甚至非動(dòng)畫片也主

19、要依靠計(jì)算機(jī)圖形學(xué)去開發(fā)特定的效果。例如，20世紀(jì)70年代中期電影“星球大戰(zhàn)”的成功就是個(gè)證明。 三維全息圖像,思考題,1. 什么是多媒體？2. 多媒體的關(guān)鍵特性包含哪些方面？3. 為什么說，利用多媒體是計(jì)算機(jī)技術(shù)發(fā)展的必然趨勢？4. 為什么說，如果沒有數(shù)據(jù)壓縮的進(jìn)步，多媒體計(jì)算機(jī)就 難以得到實(shí)際的應(yīng)用？5. 就你個(gè)人的看法，多媒體技術(shù)要研究的內(nèi)容還應(yīng)包括哪 些方面？6. 除了本章介紹的多媒體技術(shù)的一些應(yīng)用，你還