ch1-概論

1、信息論,教師：李瓊哈爾濱工業(yè)大學,2024/3/20,計算機科學與技術學院,2,自我介紹,姓名：李 瓊單位：哈工大. 計算機學院. 信息對抗技術研究所聯(lián)系方式：86402861-868 (O) 13684601868 (cell)qiongli@hit.edu.cn 辦公室：科學園2A-1525,2024/3/20,計算機科學與技術學院,3,課程介紹,課程類型：專業(yè)必修課

2、 學 時：24上課時間、地點：1-6周 周 三 3-4節(jié)正心樓207 ；周五 3-4節(jié)正心樓207 考 核: 最終成績=期末考試*70%+平時成績*30%考試時間、方式： 第8周周四 15:45-17:45， 正心樓209. 閉卷一點要求：不缺席、不遲到 、不早退、關手機,2024/3/20,計算機科學與技術學院,4,課程介紹,教 材：《信息理論基

3、礎》（第3版），周蔭清. 北京航空航天大學出版社參考書：《信息論——基礎理論與應用》，傅祖蕓，電子工業(yè)出版社《Elements of Information Theory》, Thomas M.Cover. John Wiley&Sons. 清華大學出版社《信息論基礎》， Thomas M.Cover等著，阮吉壽等譯. 機械工業(yè)出版社,2024/3/20,計算機科學與技術學院,5,課程介紹,第1章 緒論第2章

4、 信息的統(tǒng)計度量第3章 離散信源第4章 離散信道及其容量第5章 無失真信源編碼第6章 有噪信道編碼第7章 限失真信源編碼,第一章：緒論,2024/3/20,計算機科學與技術學院,7,1.1 信息1.2 通信系統(tǒng)模型1.3 信息論的形成和發(fā)展,主要內容,信息論又稱為通信的數(shù)學理論,2024/3/20,計算機科學與技術學院,8,客觀世界三大基本要素：物質——材料科學能量——能源科學信息——信息科學Witho

5、ut material nothing exists,without energy nothing happens, without information nothing makes sense.,1.1 信息,2024/3/20,計算機科學與技術學院,9,,1.1 信息,現(xiàn)代化學者認為，人類文明經歷了四次意義深遠的革命：,2024/3/20,計算機科學與技術學院,10,1.1 信息——信息 、消息、信號,消息是信息的載體和

6、具體表現(xiàn)形式(如文字、圖片、電影等),2024/3/20,計算機科學與技術學院,11,1.1 信息——信息 、消息、信號,消息是信息的載體和具體表現(xiàn)形式(如文字、圖片、電影等)信息是消息中包含的有意義的內容同一消息對不同的接收者來說，可以包含不同的信息；同一信息，可以用不同形式的消息來載荷,2024/3/20,計算機科學與技術學院,12,1.1 信息——信息 、消息、信號,信號是消息的物理表現(xiàn)形式，如聲波、光波、電磁波等消息

7、是信號的具體內容 。,信息,消息,信號,2024/3/20,計算機科學與技術學院,13,信息是無形的信息是可共享的信息是無限的是一種取之不盡、用之不竭的資源時空上的可擴展：具有時效性；前后信息相連，會提供新信息。信息是可度量的信息的度量是信息論的重要研究內容之一,1.1 信息——信息的特性,概念一——通俗概念“信息=消息”這種概念雖然直觀通俗、容易理解，但是并不準確。,電話

8、 報紙 電視 網絡,地球繞著太陽轉,消息,這是大家都知道的事情，信息量不大,,1.1 信息,1.1 信息,概念二——廣義概念“信息是對物質存在和運動形式的一般描述” “信息是認識主體（人、生物、機器）所感受的事物運動狀態(tài)和變換方式”這個概念不容易定量描述，更接近于一個哲學概念。,1.1 信息

9、 1.1 信息,概念三——概率信息，又稱為狹義信息“信息是用來消除不確定性的東西”由美國數(shù)學家香農(Claude Elwood Shannon，1916-2001)提出來的，故又稱香農信息。用事件發(fā)生的概率衡量它的信息量事件發(fā)生的概率越大，它提供的信息量就越小。事件“中國足球隊0:1負于韓國足球隊”事件發(fā)生的概率越小，一旦該事件發(fā)生，它發(fā)生后提供的信息量越大事件“中國足球隊5:0力克韓國足球隊”本課程研究概率信息

10、，簡稱信息,研究對象：通用通信系統(tǒng)通信系統(tǒng)的基本問題：在某一點精確或近似地恢復另一點發(fā)送的信息。,1.2 通信系統(tǒng)模型,信息論是通信的數(shù)學理論,2024/3/20,計算機科學與技術學院,18,1.2 通信系統(tǒng)模型,編碼器,譯碼器,信 源,信 宿,,,噪聲,干擾源,,信號,通信系統(tǒng)模型,信號+噪聲,2024/3/20,計算機科學與技術學院,19,1.2 通信系統(tǒng)模型,信源：產生消息的源泉信宿：信息的接受者

11、編碼器：將消息變換成適合于信道傳輸?shù)男问叫旁淳幋a：壓縮信道編碼：糾錯保密編碼：保證信息的安全性調制：將消息變換成適合信道傳輸?shù)男盘栃问剑ㄎ锢淼姆椒ǎ┳g碼器：編碼的逆變換信道：將信號從發(fā)射端傳到接受端的通道干擾源（噪聲源）：信道中的噪聲,2024/3/20,計算機科學與技術學院,20,1.2 通信系統(tǒng)模型,信 源,信源編碼器,信道編碼器,保密編碼器,信源譯碼器,信道譯碼器,信

12、 宿,,,,,⊕,,,,⊕,,解密譯碼器,干擾源,,調制器,解調器,,,,,信道,細化的通信系統(tǒng)模型,,2024/3/20,計算機科學與技術學院,21,1.2 通信系統(tǒng)模型,信 源,信源編碼器,信道編碼器,保密編碼器,信源譯碼器,信道譯碼器,信 宿,,,,,⊕,,,,⊕,,解密譯碼器,干擾源,,調制器,解調器,,,,,信道,細化的通信系統(tǒng)模

13、型,,2024/3/20,計算機科學與技術學院,22,,1.2 通信系統(tǒng)模型——信源編碼的主要目的,信 道,過不去！,2024/3/20,計算機科學與技術學院,23,,1.2 通信系統(tǒng)模型——信源編碼的主要目的,壓縮！使信號能夠更加有效地傳輸信息！,信 道,呵呵，這樣就能過去啦！,2024/3/20,計算機科學與技術學院,24,1.2 通信系統(tǒng)模型,信源編碼器,信道編碼器,信

14、 源,保密編碼器,信源譯碼器,信道譯碼器,信 宿,,,,,⊕,,,,⊕,,解密譯碼器,干擾源,,調制器,解調器,,,,,信道,細化的通信系統(tǒng)模型,,2024/3/20,計算機科學與技術學院,25,,1.2 通信系統(tǒng)模型——信道編碼的主要目的,糾錯！使信號能夠更加可靠地傳輸信息！,信 道,“今天12點見面！”,“明天12點見面！”,2024/3/20,計算機科學與技術

15、學院,26,信 源,信源編碼器,信道編碼器,保密編碼器,信源譯碼器,信道譯碼器,信 宿,,,,,⊕,,,,⊕,,解密譯碼器,干擾源,,調制器,解調器,,,,,信道,細化的通信系統(tǒng)模型,,,1.2 通信系統(tǒng)模型,2024/3/20,計算機科學與技術學院,27,,使信號更加適合在信道中傳輸！,調幅示意圖,調制信號載波信號已調制信號,,1.2 通信

16、系統(tǒng)模型——調制的主要目的,2024/3/20,計算機科學與技術學院,28,,1.2 通信系統(tǒng)模型——調制的主要目的,調制示意圖,2024/3/20,計算機科學與技術學院,29,1.2 通信系統(tǒng)模型,信 源,信源編碼器,信道編碼器,保密編碼器,信源譯碼器,信道譯碼器,信 宿,,,,,⊕,,,,⊕,,解密譯碼器,干擾源,,調制器,解調器,,,,,信道,細化的通信系

17、統(tǒng)模型,,香農第一定理——為了無失真地傳輸信源信息，信源編碼的極限是什么？香農第二定理——在有噪信道中無失真地通信，信道編碼的極限是多少？香農第三定理——如果允許一定量的失真，信源編碼的極限是什么？,信息論的研究目標：以通用的通信系統(tǒng)為研究對象，找到信息傳輸過程的共同規(guī)律，以提高信息傳輸?shù)?有效性、可靠性、安全性數(shù)字通信的三項基本技術：數(shù)據(jù)壓縮、數(shù)據(jù)糾錯、數(shù)據(jù)加密數(shù)據(jù)香農奠定了這三項

18、技術的理論基礎！,2024/3/20,計算機科學與技術學院,31,1.3 信息論的形成和發(fā)展,工程技術背景：1948年時的通信技術已有較大發(fā)展，主要有：電報（Morse，1830’s）電話（Bell，1876）AM無線電（1900’s 早期）電視（1925-1927）FM無線電（Armstrong，1936）聲碼器（Dudley，1936）……,2024/3/20,計算機科學與技術學院,32,1.3 信息論的形成和發(fā)展,

19、理論背景：1924 H.Nyquist開始分析電報信號傳輸中，脈沖速率與信道帶寬的關系1928 R.V.L.Hartley 提出信息應該由隨機事件樣本空間中元素的個數(shù)的對數(shù)值來衡量（信息量 H = N logs）1948 C.E.Shannon在《貝爾系統(tǒng)技術雜志》發(fā)表了《通信中的數(shù)學原理》,2024/3/20,計算機科學與技術學院,33,1.3 信息論的形成和發(fā)展,一些重要事件：1949 C.E.Shannon 在《貝爾系統(tǒng)技

20、術雜志》發(fā)表了《保密通信的數(shù)學理論》1952 D.A.Huffman 提出了Huffman編碼1954 P.Elias 提出了卷積碼1959 S.K.Kullback 提出了鑒別信息的概念1961 C.E.Shannon 發(fā)表了《雙路通信信道》，提出了多用戶信息論1963 A.N.Kolmogorov 提出了通用編碼1982 G.Ungerboeck 實現(xiàn)了網絡編碼調制1993 Turbo碼的性能已經非常接近于理論極限,2

21、024/3/20,計算機科學與技術學院,34,1.3 信息論的形成和發(fā)展——應用,在通信領域中的應用壓縮語音壓縮（G.711, …）音頻壓縮（MP3…）圖像壓縮（JPEG，JPEG2000…）視頻壓縮（MPEG-1，MPEG-2，MPEG-4…）計算機文件壓縮（zip,winrar…）…..,2024/3/20,計算機科學與技術學院,35,1.3 信息論的形成和發(fā)展——應用,糾錯編碼漢明碼RS碼……在密碼學與密碼分

22、析學中的應用金融領域、生物醫(yī)學、邏輯學、心理學、語言學、生物學、管理科學…….凡是可以抽象為通信過程，并用概率描述的領域都可以用信息論作指導,附 錄,2024/3/20,計算機科學與技術學院,37,香農生平簡介,1916年4月30日出生于美國密執(zhí)安州的加洛德一個商人和教師的家庭。1936年獲得了密西根州大學的數(shù)學和電氣工程學學士學位。1937年獲MIT電氣工程系碩士學位。1940年獲得MIT數(shù)學博士學位。1941年至

23、1972年間，在貝爾實驗室工作。1958~1978年，在MIT任教。2001年2月24日在馬薩諸塞州的Medford因老年癡呆癥與世長辭，享年84歲。,2024/3/20,計算機科學與技術學院,38,香農的主要學術貢獻,碩士論文《A Symbolic Analysis of Relay and Switching circuits》(繼電器和開關電路的符號分析)研究了布爾代數(shù)用于交換理論中的問題，被認為是20世紀最重要、最著名

24、的一篇碩士論文。二戰(zhàn)時對保密通信興趣濃厚，他的工作 對羅斯?？偨y(tǒng)和邱吉爾首相的保密語音通信意義重大。1948年，發(fā)表構思了八年的《A Mathematical Theory of Communication》，標志著現(xiàn)代信息論誕生。1949年，發(fā)表了《 Communication Theory of Secrecy System 》，奠定了現(xiàn)代密碼學的基礎。1959年，發(fā)表《Coding Theorem for a Discre

25、te Source with a Fidelity Criterion》，推動了信息率失真理論研究。1961年，發(fā)表《Two-Way Communication Channels》，開拓了多用戶信息理論研究。,2024/3/20,計算機科學與技術學院,39,香農的特點,理工融合于一身大數(shù)學家Kolmogrov：“在我們的時代，當人的知識越來越專業(yè)化的時候，香農是科學家的一個卓越典范。他能把深奧而抽象的數(shù)學思想和對關鍵技術問題的概括