淺談信息論及其應(yīng)用

1、淺談信息論及其應(yīng)用 淺談信息論及其應(yīng)用摘 要本文主要研究了信息論的起源、信息論的分類、信息論研究的主要內(nèi)容以及信息論在現(xiàn)實生活中的運用，信息論是運用概率論與數(shù)理統(tǒng)計的方法研究信息信息熵通信系統(tǒng)數(shù)據(jù)傳輸密碼學(xué)數(shù)據(jù)壓縮等問題的應(yīng)用數(shù)學(xué)學(xué)科。主要介紹信息論在數(shù)據(jù)壓縮、密碼學(xué)、統(tǒng)計及信號處理中的應(yīng)用。關(guān)鍵字： 關(guān)鍵字：信息論 數(shù)據(jù)壓縮 密碼學(xué)通信信道容量的方法。信息傳輸和信息壓縮是信息論研究中的兩大領(lǐng)域這兩個方面又由信息傳輸定理信源信道隔

2、離定理相互聯(lián)系[3]。1. 信息。從廣義上講，信息是指不同物質(zhì)在運動過程中發(fā)出的各種信號；從狹義上講，信息是指各種物質(zhì)在運動過程中發(fā)出的映出來的數(shù)據(jù)。指令消息情報圖象信號等對于信息的定義，目前學(xué)術(shù)界還沒有一個一致的看法，信息論的創(chuàng)始人申農(nóng)認為，信息就是用以消除隨機的不定性的東西；控制論的創(chuàng)始人維納認為，信息是人與環(huán)境相互交換內(nèi)容的名稱，也可以叫負商。信息依賴于物質(zhì)和能量，但是它與物質(zhì)和能量有明顯的區(qū)別，它不是獨立的實體，它不會由于輸送和

3、攝取而消耗，也不會因為無人問津而增殖；信息的作用與物質(zhì)的多寡也沒有必然的聯(lián)系，而且在許多情況下，信息的作用是物質(zhì)和能量所不能代替的可以說信息既不是物質(zhì)，也不是意識，而是物質(zhì)聯(lián)系的形式。2. 信息量。它是信息多少的量度許多科學(xué)家對信息進行深入的研究以后，發(fā)現(xiàn)事件的信息量與事件出現(xiàn)的概率有密切的關(guān)系：事件發(fā)生的概率大，信息量就越??；反之，事件發(fā)生的概率就越小，信息量就越大。例如：池塘周圍的護欄越密，小孩或大人掉進池塘的可能性就越少；反之則反

4、[4]。3. 信源和信宿。信源即消息的來源消息一般以符號的形式發(fā)出，通常就有隨即性信源是多方面的，自然界的一切物體都可以成為信源如：人在碰見歹徒時會發(fā)出救命的聲音，這對于其他人來說是一種信息狗看見陌生人就會發(fā)出汪汪的叫聲，告訴主人有朋友來了或者有盜賊入侵草兒綠了，預(yù)示著春天來了由此可見，信息的發(fā)出者不僅僅是人類所具有的特質(zhì)，而且其他動物。植物等也具有這一功能如果信源發(fā)出的信號是確定的，即是事先知道的，就不會傳輸任何信息如果符號的出現(xiàn)是時