信號處理與通信研究方向介紹

1、主講人:路新華南陽理工學(xué)院通信技術(shù)教研室,通信與信號處理領(lǐng)域若干前沿問題,主要內(nèi)容,一、壓縮感知二、物聯(lián)網(wǎng)三、分布式計算與云計算,2024/3/17,,,Compressive Sensing一、壓縮感知,2024/3/17,目錄,背景現(xiàn)狀理論產(chǎn)生背景研究現(xiàn)狀壓縮感知描述壓縮傳感稀疏表示測量矩陣重構(gòu)算法模擬實驗整體流程應(yīng)用展望 應(yīng)用舉例展望,,1、背景現(xiàn)狀,1.1 理論產(chǎn)生背景,,采樣,,發(fā)的,采樣

2、數(shù)據(jù),,壓縮,原始圖像,,數(shù)據(jù)傳輸,解壓縮,,恢復(fù)圖像,,通過顯示器顯示圖像,大部分冗余信息在采集后被丟棄采樣時造成很大的資源浪費能否直接采集不被丟棄的信息？,,名詞解釋：壓縮感知—直接感知壓縮后的信息,基本方法：信號在某一個正交空間具有稀疏性（即可壓縮性），就能以較低的頻率（遠(yuǎn)低于奈奎斯特采樣頻率）采樣該信號，并可能以高概率重建該信號。,1.1 理論產(chǎn)生背景,1、背景現(xiàn)狀,,1.2 研究現(xiàn)狀,2006《Robust Uncerta

3、inty Principles：Exact Signal Reconstruction fromHighly Incomplete Frequency Information》Terence Tao、Emmanuel Candès,2006《Compressed Sensing》David Donoho,2007《Compressive Sensing》Richard Baraniuk,上述文章奠定了壓縮感知的理論基礎(chǔ)

4、。國內(nèi)也將其翻譯成壓縮傳感或壓縮采樣。,1、背景現(xiàn)狀,,理論一經(jīng)提出，就在信息論、信號處理、圖像處理等領(lǐng)域受到高度關(guān)注。在美國、英國、德國、法國、瑞士、以色列等許多國家的知名大學(xué)(如麻省理工學(xué)院、斯坦福大學(xué)、普林斯頓大學(xué)、萊斯大學(xué)、杜克大學(xué)、慕尼黑工業(yè)大學(xué)、愛丁堡大學(xué)等等)成立了專門的課題組對CS進(jìn)行研究。此外，萊斯大學(xué)還建立了專門的CompressiveSensing網(wǎng)站，及時報道和更新該方向的最新研究成果。,1.2 研究現(xiàn)

5、狀,1、背景現(xiàn)狀,,西安電子科技大學(xué)石光明教授在《電子學(xué)報》發(fā)表綜述文章，系統(tǒng)地闡述了壓縮傳感的理論框架以及其中涉及到的關(guān)鍵技術(shù)問題。燕山大學(xué)練秋生教授的課題組針對壓縮感知的稀疏重建算法進(jìn)行了系統(tǒng)深入的研究，提出一系列高質(zhì)量的圖像重建算法。中科院電子所的方廣有研究員等，探索了壓縮感知理論在探地雷達(dá)三維成像中的應(yīng)用。除此之外，還有很多國內(nèi)學(xué)者在壓縮感知方面做了重要的工作，如清華大學(xué)、天津大學(xué)、國防科技大學(xué)、廈門大學(xué)、湖南大學(xué)、西南交通

6、大學(xué)、南京郵電大學(xué)、華南理工大學(xué)、北京理工大學(xué)、北京交通大學(xué)等等單位，在此不一一列舉。,1.2 研究現(xiàn)狀,1、背景現(xiàn)狀,,2、CS描述,2.1 壓縮傳感,x是K稀疏的，并且y與?滿足一定關(guān)系時,,2、CS描述,2.1 壓縮傳感,(1),很顯然，由于的維數(shù)遠(yuǎn)遠(yuǎn)低于的維數(shù)，方程1有無窮多個解，即該方程是不適定的，很難重構(gòu)信號。然而如果原信號是K稀疏的，并且y與?滿足一定關(guān)系時，理論證明，方程是可以通過求解最優(yōu)范數(shù)問題精確重構(gòu),(2),式中，

7、為向量的范數(shù)，表示向量中非零元素的個數(shù)，Candès指出，如果要精確重構(gòu)，測量次數(shù)M必須滿足M=O(Kln(N)) ,并且滿足約束等距性條件。,,,2、CS描述,2.1 壓縮傳感,,2、CS描述,2.1 壓縮傳感,,2、CS描述,2.2 稀疏表示,如果一個信號中只有少數(shù)元素是非零的，則該信號是稀疏的。通常時域內(nèi)的信號是非稀疏的，但是在某個變換域可能是稀疏的。,,2、CS描述,2.2 稀疏表示,如果長度為N的信號X，在變換域個系

8、數(shù)不為零（或者明顯不大于其他系數(shù)），且KN，那么可以認(rèn)為信號X在域中是稀疏的并可記為K-稀疏（不是嚴(yán)格定義）。,,2、CS描述,2.2 稀疏表示,,2、CS描述,2.2 稀疏表示,2024/3/17,,2、CS描述,2.3 測量矩陣,2024/3/17,,2、CS描述,2.3 測量矩陣,(3),為了重構(gòu)稀疏信號，Terence Tao、Emmanuel Candès 給出并證明了必須滿足約束等距性條件，對于任意和常數(shù)，有,(

9、4),2024/3/17,,2、CS描述,2.3 測量矩陣,Baraniuk給出了約束等距性條件的等價條件是測量矩陣和稀疏表示基不相關(guān)，即要求的行不能由的列稀疏表示，且的列不能由的行稀疏表示。由于是固定的，要使得滿足約束等距性條件，可以通過設(shè)計測量矩陣來解決，有證明，當(dāng)時高斯隨機(jī)矩陣時， 能以較大概率滿足約束等距性條件。,2024/3/17,,2、CS描述,2.3 測量矩陣,隨機(jī)矩陣重建性能好，但不易于硬件實現(xiàn)。 確定性

10、測量矩陣因為其占用存儲空間少，硬件實現(xiàn)容易，是未來測量矩陣的研究方向，但目前確定性矩陣的重建精度不如隨機(jī)矩陣。,2024/3/17,,2、CS描述,2.4 重構(gòu)算法,直接求解相當(dāng)困難。以下兩種解決方案：1 不改變目標(biāo)函數(shù)，尋求近似的方法求解 用近似的方法直接求解0范數(shù)問題，如貪婪算法等。2 將目標(biāo)函數(shù)進(jìn)行轉(zhuǎn)化，變?yōu)楦菀浊蠼獾膯栴}（1）將0范數(shù)問題轉(zhuǎn)化為1范數(shù)問題（2）采用光滑函數(shù)逼近0范數(shù)，從而將0范數(shù)問題轉(zhuǎn)化為光滑

11、函數(shù)的極值問題,2024/3/17,,2、CS描述,2.4 重構(gòu)算法,（1）匹配追蹤系列：匹配追蹤（Matching Pursuit, MP）正交匹配追蹤(Orthogonal Matching Pursuit, OMP)稀疏自適應(yīng)匹配追蹤(Sparse Adaptive MP, SAMP)正則化正交匹配追蹤(Regularized OMP, ROMP)等（2）方向追蹤系列：梯度追蹤(Gradient Pursuit, GP

12、)共軛梯度追蹤(Conjugate GP,CGP)近似的共軛梯度追蹤(Approximation CGP, ACGP)貪婪算法,2024/3/17,,2、CS描述,2.4 重構(gòu)算法,凸優(yōu)化算法（1）基追蹤法(Basis Pursuit, BP)（2）最小角度回歸法(Least Angle Regression, LARS)（3）梯度投影法(Gradient Projection for Sparse Reconstructi

13、on, GPSR) 另類算法（1）Bayesian類的統(tǒng)計優(yōu)化算法,2024/3/17,,2、CS描述,2.5 模擬實驗,2024/3/17,,2、CS描述,2.5 模擬實驗,2024/3/17,,2、CS描述,2.5 模擬實驗,2024/3/17,,2、CS描述,2.5 模擬實驗,OMP_time =0.051175secs,2024/3/17,,2、CS描述,2.6 總體流程,理論依據(jù)：設(shè)長度為N的信號X在某個正交基Ψ上是K

14、-稀疏的，如果能找到一個與Ψ不相關(guān)（不相干）的觀測基 Φ，用觀測基Φ觀測原信號得到M個觀測值，K<M<<N，得到觀測值Y，那么可以利用最優(yōu)化方法從觀測值中高概率重構(gòu)X。,主要解決的問題：信號的稀疏表示觀測基的選取重構(gòu)算法的設(shè)計,2024/3/17,,3、應(yīng)用展望,3.1 應(yīng)用舉例,2024/3/17,2024/3/17,,3、應(yīng)用展望,3.2 展望,目前，壓縮感知理論仍處于發(fā)展階段，有很多關(guān)鍵問題尚待解決，

15、如:（1）探索測量矩陣的必要條件，構(gòu)造確定性矩陣；（2）如何硬件實現(xiàn)壓縮感知的過程；（3）提高現(xiàn)有重建算法恢復(fù)質(zhì)量、速度，論證算法理論基礎(chǔ)，保證其收斂，增強魯棒性；（4）設(shè)計不同環(huán)境下的重建算法；（5）設(shè)計移動壓縮傳感器等。,二、物聯(lián)網(wǎng)技術(shù),物聯(lián)網(wǎng)概念,英文：Internet of Things物聯(lián)網(wǎng)是通過射頻識別(RFID)裝置、紅外感應(yīng)器、 全球定位系統(tǒng)、 激光掃描器等信息傳感設(shè)備，按約定的協(xié)議，把任何物品與互聯(lián)網(wǎng)相連接

16、，進(jìn)行信息交換和通信，以實現(xiàn)智能化識別、定位、跟蹤、監(jiān)控和管理的一種網(wǎng)絡(luò)。 自治、協(xié)同、智能。,突尼斯信息社會世界峰會上，國際電信聯(lián)盟發(fā)布《ITU互聯(lián)網(wǎng)報告2005：物聯(lián)網(wǎng)》，提出了“物聯(lián)網(wǎng)”的概念。,在美國召開的移動計算和網(wǎng)絡(luò)國際會議提出了“傳感網(wǎng)是下一個世紀(jì)人類面臨的又一個發(fā)展機(jī)遇”。,奧巴馬舉行“圓桌會議”，IBM首席執(zhí)行官彭明盛提出“智慧地球”，建議政府投資新一代的智慧型基礎(chǔ)設(shè)施,國內(nèi)外研究現(xiàn)狀,物聯(lián)網(wǎng),,,,,,,,,,,,

17、,,,,,,1999,2005,2009,物聯(lián)網(wǎng)本質(zhì)特征,可標(biāo)識、感知能力聯(lián)網(wǎng)能力，即信息交換能力智能,物聯(lián)網(wǎng)體系架構(gòu),標(biāo)識技術(shù),物體的標(biāo)識是實現(xiàn)物聯(lián)網(wǎng)的基礎(chǔ)。標(biāo)簽作用：完成物體的標(biāo)識和信息的采集。,RFID射頻識別技術(shù),RFID，是一種非接觸式的自動識別技術(shù)，它通過射頻信號自動識別目標(biāo)對象并獲取相關(guān)數(shù)據(jù)。防水、防磁、耐高溫、使用壽命長、讀取距離大、標(biāo)簽上數(shù)據(jù)可以加密、存儲數(shù)據(jù)容量更大、存儲信息更改自如。非接觸操作，長距離識別

18、。無機(jī)械磨損，壽命長，并可工作于各種油漬、灰塵污染等惡劣的環(huán)境。,基于標(biāo)簽的應(yīng)用（一）,將RFID標(biāo)簽貼在重要物品上，例如車鑰匙、錢包、公文包等。重要物品丟失時，可以使用RFID讀寫器協(xié)助尋找。出門時，可以通過RFID標(biāo)簽讀寫器檢查物品是否帶齊，同時提供提醒功能。,基于標(biāo)簽的應(yīng)用（二）,把RFID標(biāo)簽貼在冰箱中的食物上。當(dāng)食物快要過期時自動提醒。當(dāng)孩子食入過量某些食物時（如冰激凌）自動提醒父母。根據(jù)食譜檢測所需原料是否齊備。

19、對某一種食物，通知微波爐使用方法，從而自動加熱。食物沒有時自動提醒購買。根據(jù)食物調(diào)整溫度。,網(wǎng)絡(luò)技術(shù),網(wǎng)絡(luò)層是物聯(lián)網(wǎng)的神經(jīng)中樞，主要用來實現(xiàn)無縫透明的接入，并完成信息的傳遞和處理。,無線傳感器網(wǎng)絡(luò)技術(shù),無線傳感器網(wǎng)絡(luò)是由眾多傳感器節(jié)點構(gòu)成的無線網(wǎng)絡(luò)。其目的是感知、采集和轉(zhuǎn)發(fā)網(wǎng)絡(luò)覆蓋的感知對象的各種信息，并發(fā)送給觀測者。,基于傳感器網(wǎng)絡(luò)的應(yīng)用,1.使用傳感器網(wǎng)絡(luò)自動感 應(yīng)用戶的位置。2.當(dāng)用戶從場景A轉(zhuǎn)移到場景B時，用戶目前所操作

20、的數(shù)據(jù)也隨之轉(zhuǎn)移，例如正在聽的音樂、正在看的電影、正在寫的文檔等。3.其他可控設(shè)備，如電燈、空調(diào)等也隨著用戶的進(jìn)入或離開而自動打開或關(guān)閉。,基于視頻感知的應(yīng)用,孩子在無人看管的情況下溺水。攝像頭捕捉到此場景，從表情動作等方面感知出孩子并非正常洗澡。感應(yīng)孩子父母所在的位置，并發(fā)出警報，通知相應(yīng)的設(shè)備。父母在第一時間捕捉到了此場景，并采取相應(yīng)的措施。,三、云計算,云計算的概念云計算的體系結(jié)構(gòu)云計算的發(fā)展歷史和應(yīng)用現(xiàn)狀云計算與相

21、關(guān)計算模型的關(guān)系云計算核心技術(shù)簡介云計算應(yīng)用實例云計算的研究和發(fā)展方向,為什么使用云計算？Ⅰ,隨著新一代計算機(jī)網(wǎng)絡(luò)技術(shù)以及通信技術(shù)的不斷進(jìn)步，特別是Web2.0技術(shù)體系的發(fā)展，包括協(xié)同計算、數(shù)字媒體點播、基于3G的移動計算在內(nèi)的各種應(yīng)用已經(jīng)把日常生活與互聯(lián)網(wǎng)緊密相連。這些應(yīng)用在帶給人們便捷的同時也使得互聯(lián)網(wǎng)數(shù)據(jù)量高速增長，不斷增加的數(shù)據(jù)量與互聯(lián)網(wǎng)數(shù)據(jù)處理能力相對不足的矛盾日益明顯。,為什么使用云計算？Ⅱ,用戶往往通過購置更多數(shù)量和

22、更高性能的終端設(shè)備或者服務(wù)器來增加計算和存儲能力，但是不斷提高的技術(shù)更新速度和似乎無限擴(kuò)充的外界需求讓用戶在購置昂貴設(shè)備的過程中倍感壓力。與此同時，互聯(lián)網(wǎng)上卻存在著大量處于閑置狀態(tài)的計算設(shè)備和存儲資源，如果能夠?qū)⑦@些相對閑置的資源聚合起來統(tǒng)一調(diào)度提供服務(wù)，使得用戶能夠根據(jù)需要進(jìn)行租用，則可以大大提高其利用率，減少人們對自有硬件資源的依賴，讓更多的人從中受益。,云計算正在讓期待成為現(xiàn)實……,什么是“云”,可以簡單地把“云”看作是一組通過因

23、特網(wǎng)公開訪問的計算機(jī)和服務(wù)器，這些硬件一般在一個或多個數(shù)據(jù)中心里進(jìn)行聯(lián)合運營，這些機(jī)器通常能夠運行各種操作系統(tǒng)。,從軟件體系結(jié)構(gòu)的角度看“云”,云將網(wǎng)絡(luò)上分布的計算、存儲、服務(wù)構(gòu)件、網(wǎng)絡(luò)軟件等資源集中起來，以基于資源虛擬化的方式，為用戶提供方便快捷的服務(wù)，這些資源就是云計算體系結(jié)構(gòu)中的構(gòu)件；同時云計算還可以實現(xiàn)計算與存儲的分布式與并行處理，一系列的網(wǎng)絡(luò)管理構(gòu)件和服務(wù)管理構(gòu)件就是它的連接件；而其約束應(yīng)該根據(jù)欲實現(xiàn)的商業(yè)計算目標(biāo)和安全管理形

24、式來決定。,云計算名稱的來源,云計算(Cloud Computing)源自亞馬遜公司(Amazon)的EC2(Elastic Compute Cloud)產(chǎn)品和Google-IBM分布式計算項目，這兩個項目直接使用了“Cloud Computing”的概念。,云計算的概念,云計算至今為止也沒有統(tǒng)一的、公認(rèn)的定義，包括IBM在內(nèi)的許多公司、大學(xué)、組織和專家學(xué)者從不同的角度給出了多種不同的解釋 。本書給出一個簡單的理解:“如果把云視為一個

25、虛擬化的存儲與計算資源池，那么云計算就是該資源池基于網(wǎng)絡(luò)平臺為用戶提供的數(shù)據(jù)存儲和網(wǎng)絡(luò)計算服務(wù)?！?云存儲與云服務(wù),云計算的一個主要用途就是存儲數(shù)據(jù)。采用云存儲的過程中，數(shù)據(jù)被存放到多個第三方服務(wù)器的存儲介質(zhì)上，而不是像傳統(tǒng)的數(shù)據(jù)存儲那樣存放在企業(yè)的專用服務(wù)器上。 云動態(tài)地管理可用的存儲空間，實際的存儲位置可能每天甚至每分鐘都不盡相同。盡管位置是虛擬的，用戶所看到的數(shù)據(jù)位置每天都處于相對于觀察者的固定狀態(tài)。,云存儲與云服務(wù),通過云計算

26、提供的任何基于web的應(yīng)用或服務(wù)都被稱為云服務(wù)，它包括從日歷和客戶關(guān)系管理到文字處理和演示的任何應(yīng)用。 云服務(wù)具有諸多優(yōu)勢，如果用戶的電腦崩潰，它既不會影響到宿主應(yīng)用程序，也不會影響到已經(jīng)打開的文件，并且個人用戶可以從任何地點，在任何時間，使用任何智能終端訪問他的應(yīng)用程序和文件。,云計算的特點(優(yōu)點),規(guī)模超大，數(shù)據(jù)存儲和處理能力強虛擬化技術(shù)高可靠性和數(shù)據(jù)容錯安全性通用性動態(tài)可擴(kuò)展性按需服務(wù)易于使用規(guī)模可變，易于定制可

27、以改進(jìn)操作系統(tǒng)之間的兼容性廉價，高性價比，對用戶透明,云計算的特點(缺點),企業(yè)級安全性問題，數(shù)據(jù)隱私保密 云計算宿主離線 所產(chǎn)生的事故迫使用戶適應(yīng)新的操作環(huán)境、更改使用習(xí)慣網(wǎng)絡(luò)帶寬的局限性問題,云計算服務(wù)的分類,將基礎(chǔ)設(shè)施作為服務(wù)(Infrastructure as a Service，IaaS)將云計算軟件開發(fā)平臺作為服務(wù)(Platform as a Service，PaaS)將軟件作為服務(wù)(Software as a

28、Service，SaaS)除此之外，基于云的數(shù)據(jù)作為服務(wù)(Data as a Service，DaaS)，通信作為服務(wù)(Communication as a Service，CaaS)等形式的更多的XaaS也在根據(jù)用戶的需要不斷應(yīng)運而生,云計算服務(wù)的分類,,云計算的體系結(jié)構(gòu),云計算直到目前也沒有一個統(tǒng)一的體系結(jié)構(gòu) 給出一個綜合并改進(jìn)的云計算體系結(jié)構(gòu)的分層：物理資源層、虛擬化資源池層、服務(wù)管理中間件層和SOA構(gòu)建層,云計算的體系結(jié)構(gòu),

29、物理資源層包括服務(wù)器集群、存儲設(shè)備、網(wǎng)絡(luò)設(shè)備、數(shù)據(jù)庫和應(yīng)用軟件。虛擬化資源池是將大量相同類型的資源構(gòu)成同構(gòu)或接近同構(gòu)的資源池，如計算資源池、數(shù)據(jù)資源池等。虛擬化資源池層主要用于管理和集成實體計算資源、存儲資源以及部分軟件資源，例如，為服務(wù)器安排合理的搭建結(jié)構(gòu)，為物理存儲介質(zhì)選擇合適的安裝空間。,云計算的體系結(jié)構(gòu),服務(wù)管理中間件層負(fù)責(zé)對云計算的資源進(jìn)行管理，并對眾多應(yīng)用任務(wù)進(jìn)行調(diào)度，使資源能夠高效、安全地為應(yīng)用提供服務(wù)。SOA構(gòu)建層

30、將云服務(wù)封裝成標(biāo)準(zhǔn)的Web Services服務(wù)，并納入到SOA體系進(jìn)行管理和使用，包括服務(wù)接口、服務(wù)注冊、服務(wù)查找、服務(wù)訪問和服務(wù)工作流等。 服務(wù)管理中間件層和虛擬化資源層是云計算技術(shù)的核心部分 。,云計算的發(fā)展歷史和應(yīng)用現(xiàn)狀,云計算的發(fā)展歷史云計算的應(yīng)用現(xiàn)狀,云計算的發(fā)展歷史,早期計算中心所采用的體系結(jié)構(gòu)是客戶機(jī)/服務(wù)器模式。無須經(jīng)由服務(wù)器，將一臺計算機(jī)連接到另一臺計算機(jī)的計算模型導(dǎo)致了對等(P2P)計算的發(fā)展。 P2P計算

31、模型的推廣導(dǎo)致了分布式計算的發(fā)展 。在分布式計算發(fā)展過程中，為了提高團(tuán)隊之間的協(xié)作能力，讓多個用戶一起從事同一個基于Web的項目，協(xié)同計算應(yīng)運而生。 隨著并行計算、網(wǎng)格計算和效用計算的不斷發(fā)展以及硬件處理能力的提高，以大型計算中心為骨架的云計算時代終于到來。,云計算的應(yīng)用現(xiàn)狀,包括Google、亞馬遜、IBM、微軟和Yahoo、Salesforce、Facebook、YouTube等許多公司都提供種類繁多的云計算服務(wù)。,云計算與相關(guān)

32、計算模型的關(guān)系,分布式計算是指在一個松散或嚴(yán)格約束條件下使用一個硬件和軟件系統(tǒng)處理任務(wù)，這個系統(tǒng)包含多個處理器單元或存儲單元，多個并發(fā)的過程以及多個程序。 云計算屬于分布式計算的范疇。并行計算(Parallel Computing)就是在并行計算機(jī)上所做的計算，它與常說的高性能計算、超級計算屬于同一范疇。 云計算也是并行計算的一種形式。,云計算與相關(guān)計算模型的關(guān)系,效用計算是一種基于計算資源使用量付費的商業(yè)模式，用戶從計算資源供應(yīng)

33、商獲取和使用計算資源并基于實際使用的資源付費，在效用計算中，計算資源被看作是一種計量服務(wù)。云計算以服務(wù)的形式提供計算、存儲、應(yīng)用資源的想法和效用計算類似，可以把效用計算作為云計算的服務(wù)形式之一進(jìn)行看待。,云計算與相關(guān)計算模型的關(guān)系,網(wǎng)格計算是在網(wǎng)絡(luò)基礎(chǔ)之上，基于SOA，使用互操作、按需集成等技術(shù)手段，將分散在不同地理位置的資源虛擬成為一個有機(jī)整體，實現(xiàn)計算、存儲、數(shù)據(jù)、軟件和設(shè)備等資源的共享，從而大幅提高資源的利用率，使用戶獲得前所未

34、有的計算和信息能力。 云計算是網(wǎng)格計算的一種應(yīng)用于商業(yè)的簡化實用版。,云計算核心技術(shù)簡介,以Google云為例簡單介紹云計算的核心技術(shù)以及各自的工作原理 分布式海量數(shù)據(jù)存儲技術(shù) 分布式海量數(shù)據(jù)編程模型 分布式海量數(shù)據(jù)的鎖服務(wù)分布式海量數(shù)據(jù)管理技術(shù),分布式海量數(shù)據(jù)存儲技術(shù),Google云計算技術(shù)包括四個部分：Google文件系統(tǒng)GFS、分布式計算編程模型MapReduce、分布式鎖服務(wù)Chubby和分布式結(jié)構(gòu)化數(shù)據(jù)存儲系統(tǒng)Big

35、table等。 Google文件系統(tǒng)(Google File System，GFS)是一個大型的分布式文件系統(tǒng)，它為Google云計算提供海量存儲，處于所有核心技術(shù)的最底層,分布式海量數(shù)據(jù)存儲技術(shù),分布式海量數(shù)據(jù)編程模型,作為一種處理海量數(shù)據(jù)的并行編程規(guī)范，MapReduce由Google的設(shè)計師Jeffery Dean首先提出，它是一種抽象模型，將并行化、容錯、數(shù)據(jù)分布、負(fù)載均衡的等雜亂細(xì)節(jié)放在一個庫里，使程序員在進(jìn)行并行編程時不必

36、關(guān)心這些問題，用于簡化分布式系統(tǒng)編程。它也是一個軟件架構(gòu)，用于TB級大規(guī)模數(shù)據(jù)的并行運算。,分布式海量數(shù)據(jù)編程模型,MapReduce的核心思想，就是“任務(wù)的分解與結(jié)果的匯總” 。Map是展開并進(jìn)行映射的意思，指將一個任務(wù)分解成為多個任務(wù)；Reduce可以翻譯成聚集之后化簡，指將分解后得到的多任務(wù)處理的結(jié)果匯總起來，得出最后的分析結(jié)果。MapReduce通過Map和Reduce這樣兩個簡單的概念來構(gòu)成運算基本單元，Map負(fù)責(zé)將數(shù)據(jù)打

37、散，而Reduce則負(fù)責(zé)對數(shù)據(jù)進(jìn)行聚集，用戶只需提供自己的Map函數(shù)以及Reduce函數(shù)即可并行處理海量數(shù)據(jù)。,MapReduce工作原理,MapReduce執(zhí)行流程圖,,分布式海量數(shù)據(jù)的鎖服務(wù),Chubby是Google設(shè)計的提供粗粒度鎖服務(wù)的一個文件系統(tǒng)，它基于松耦合分布式系統(tǒng)，解決了分布的一致性問題。通過使用Chubby的鎖服務(wù)，用戶可以確保數(shù)據(jù)操作過程中的一致性。 Chubby系統(tǒng)本質(zhì)上就是一個分布式的、存儲大量小文件的文件系

38、統(tǒng)，它所有的操作都是在文件的基礎(chǔ)上完成的。,分布式海量數(shù)據(jù)管理技術(shù),由于需要存儲種類繁多的數(shù)據(jù)以及服務(wù)請求數(shù)量龐大，一些Google應(yīng)用程序需要處理大量的格式化以及半格式化數(shù)據(jù)，并且通常的商用數(shù)據(jù)庫根本無法滿足Google海量數(shù)據(jù)的存儲需求，Google自行設(shè)計了Bigtable。Bigtable是Google開發(fā)的基于GFS和Chubby的分布式存儲系統(tǒng)，Google的很多數(shù)據(jù)，包括Web索引、衛(wèi)星圖像數(shù)據(jù)等在內(nèi)的海量結(jié)構(gòu)化和半結(jié)構(gòu)

39、化數(shù)據(jù)，都存儲在其中。Bigtable的存儲邏輯可以表示為一個三元組的形式：(Row：string，Column：string，Time：int64),云計算核心技術(shù)的開源實現(xiàn),Hadoop是開源組織Apache的子項目，由HDFS、MapReduce、HBase、Hive和ZooKeeper等成員組成。 Hadoop的MapReduce也采用Master/Slave結(jié)構(gòu)，其中的Master叫做JobTracker，Slave叫做T

40、askTracker。Hadoop的HDFS是Google GFS的開源版本，一個擁有高度容錯能力的分布式文件系統(tǒng)，它能夠提供高吞量的數(shù)據(jù)訪問，適合存儲PB級的海量大文件。,HDFS結(jié)構(gòu)圖,,Eucalyptus,Eucalyptus是Amazon EC2的一個開源實現(xiàn)，它是一款實現(xiàn)云計算彈性需求環(huán)境的軟件，通過其在集群或者服務(wù)器組上所進(jìn)行的部署，并且使用常用Linux工具和基本的基于Web的服務(wù)，與商業(yè)服務(wù)接口兼容。Eucalypt

41、us的結(jié)構(gòu)包括：Instance Manager、Group Manager和Cloud Manager三部分，采用層狀結(jié)構(gòu)。,,云計算的安全問題,云計算服務(wù)存在著七大潛在安全風(fēng)險：(1)優(yōu)先訪問權(quán)風(fēng)險(2)數(shù)據(jù)處所風(fēng)險(3)隔離數(shù)據(jù)風(fēng)險(4)權(quán)限管理風(fēng)險(5)支持調(diào)查風(fēng)險(6)長期發(fā)展風(fēng)險(7)恢復(fù)數(shù)據(jù)風(fēng)險,云計算的安全保障方案,企業(yè)必須考慮：數(shù)據(jù)保護(hù)、身份管理、安全漏洞管理、物理和個人安全、應(yīng)用程序安全、事件響應(yīng)和隱私

42、措施。 用戶還需要服務(wù)級協(xié)議，具體規(guī)定一些詳細(xì)的責(zé)任條款和承擔(dān)的后果，公司必須理解法規(guī)問題的影響、服務(wù)提供商處理數(shù)據(jù)安全的方式以及公司的知識產(chǎn)權(quán)是否存在風(fēng)險。 企業(yè)用戶在使用云計算服務(wù)提供商的服務(wù)之前，還應(yīng)當(dāng)做好相應(yīng)的評估工作。 云計算中數(shù)據(jù)存儲和應(yīng)用處理都是在企業(yè)網(wǎng)絡(luò)之外操作。 在云計算安全領(lǐng)域建立學(xué)術(shù)或者企業(yè)聯(lián)盟以及協(xié)會，不斷進(jìn)行云計算安全問題的研究并制定相應(yīng)的行業(yè)標(biāo)準(zhǔn)。,云計算應(yīng)用實例,云計算服務(wù)不僅被很多企業(yè)逐步采用，同

43、時也已經(jīng)廣泛地應(yīng)用在日常生活中。普通用戶可以使用云中提供的包括在線文字處理、演示文稿、編輯共享數(shù)字照片、基于Web的數(shù)據(jù)庫、日歷和日程安排在內(nèi)的多種協(xié)作軟件。,云計算的研究和發(fā)展方向,云計算技術(shù)上的研究主要包括兩個方面：如何構(gòu)建分布式平臺的基礎(chǔ)設(shè)施如何幫助開發(fā)人員在云計算的分布式平臺上進(jìn)行編程,云計算的研究和發(fā)展方向,云計算是并行計算、分布式計算和網(wǎng)格計算的發(fā)展，也是它們的商業(yè)實現(xiàn)，同時也是虛擬化、效用計算、將基礎(chǔ)設(shè)施作為服務(wù)、將平

44、臺作為服務(wù)和將軟件作為服務(wù)等概念混合演進(jìn)并躍升的結(jié)果。云計算在目前還沒有一個統(tǒng)一的標(biāo)準(zhǔn)，云計算在行業(yè)標(biāo)準(zhǔn)、數(shù)據(jù)安全、服務(wù)質(zhì)量、應(yīng)用軟件等方面依然面臨著各種問題。云計算領(lǐng)域的研究還處于起步階段，尚缺乏統(tǒng)一明確的研究框架體系，作為包括軟件體系結(jié)構(gòu)在內(nèi)的多學(xué)科交叉研究領(lǐng)域，云計算尚存在大量的開放性問題有待進(jìn)一步研究和探索。,并行計算,Parallel Computing是指同時使用多種計算資源解決計算問題的過程，其主要目的是快速解決大型且

45、復(fù)雜的計算問題特點：把計算任務(wù)分派給系統(tǒng)內(nèi)的多個運算單元大型機(jī)的多CPU和多存儲器并行計算問題的特征將工作分離成離散部分，有助于同時解決隨時并及時地執(zhí)行多個程序指令（多條線同時運行）多計算資源下解決問題的耗時要少于單個計算資源下的耗時,分布式計算,Distributed Computing所謂分布式計算是一門計算機(jī)科學(xué)，它研究如何把一個需要非常巨大的計算能力才能解決的問題分成許多小的部分，然后把這些部分分配給許多計算機(jī)進(jìn)

46、行處理，最后把這些計算結(jié)果綜合起來得到最終的結(jié)果。特點：把計算任務(wù)分派給網(wǎng)絡(luò)中的多臺獨立的機(jī)器優(yōu)點：稀有資源可以共享 通過分布式計算可以在多臺計算機(jī)上平衡計算負(fù)載 可以把程序放在最適合運行它的計算機(jī)上,網(wǎng)格計算,Grid Computing網(wǎng)格是利用互聯(lián)網(wǎng)把地理上廣泛分布的各種資源（包括計算資源、存儲資源、帶寬資源、軟件資源、數(shù)據(jù)資源、信息資源、知識資源等）連成一個邏輯整體，就像一臺超級計算機(jī)一樣，為用戶提供一體化信息和應(yīng)