一種內(nèi)容分發(fā)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、目前，內(nèi)容提供商提出了利用互聯(lián)網(wǎng)傳播大尺寸塊式內(nèi)容(如游戲軟件)和流式內(nèi)容(如高清流媒體)的需求。而傳統(tǒng)的CDN(Content Distribution Network，內(nèi)容分發(fā)系統(tǒng))面對(duì)這樣的需求，存在兩個(gè)問(wèn)題：第一，很難同時(shí)支持塊式內(nèi)容和流式內(nèi)容的分發(fā)，分發(fā)算法對(duì)于兩種內(nèi)容性能差距很大；第二，對(duì)于分發(fā)系統(tǒng)中邊緣服務(wù)器上內(nèi)容存儲(chǔ)可靠性的保證涉足較少，一旦內(nèi)容失效，恢復(fù)效率低下。 為了能夠滿(mǎn)足最新的需求，解決上述問(wèn)題，本文在研

2、究了當(dāng)前CDN的基礎(chǔ)上，設(shè)計(jì)并實(shí)現(xiàn)了SmartCDN內(nèi)容分發(fā)系統(tǒng)。 首先，本文介紹了一個(gè)簡(jiǎn)單的分布式哈希表服務(wù)SmartDHT(Smart DistributedHash Table)，為SmartCDN提供了分布式可靠存儲(chǔ)和快速查詢(xún)平臺(tái)。 然后，本文考察了當(dāng)前的內(nèi)容分發(fā)算法，并根據(jù)SmartCDN的特點(diǎn)，在SmartCDN一級(jí)分發(fā)網(wǎng)絡(luò)上，設(shè)計(jì)了一個(gè)通過(guò)參數(shù)自適應(yīng)調(diào)整，能同時(shí)支持塊式內(nèi)容和流式內(nèi)容的內(nèi)容分發(fā)算法Smart

3、CDA(Smart Content Distribution Algorithm)。SmartCDA依賴(lài)于SmartDHT，結(jié)合了BitTorrent的優(yōu)點(diǎn)，采用同自治域優(yōu)先的聚類(lèi)算法和緊急內(nèi)容分片優(yōu)先下載策略，可以最小化塊式內(nèi)容平均分發(fā)時(shí)間并滿(mǎn)足流式內(nèi)容的分發(fā)實(shí)時(shí)性要求。 接著，在總結(jié)了常見(jiàn)內(nèi)容存儲(chǔ)可靠性保證機(jī)制的優(yōu)缺點(diǎn)后，考慮到SmartCDN的實(shí)際需求，實(shí)現(xiàn)了一套內(nèi)容失效恢復(fù)機(jī)制SrnartCRM(Smart Conten

4、t RecoveryMechanism)。SmartCRM在SmartDHT上維護(hù)系統(tǒng)全局狀態(tài)，采用“軟狀態(tài)”探測(cè)內(nèi)容丟失，并通過(guò)P2P(Peer-to-Peer，點(diǎn)對(duì)點(diǎn))互傳恢復(fù)內(nèi)容。這樣可以及時(shí)發(fā)現(xiàn)內(nèi)容失效，并快速恢復(fù)，減少了平均故障恢復(fù)時(shí)間，提高了內(nèi)容的可用率。 另外，為了能夠高效地實(shí)現(xiàn)SmartCDN的各個(gè)服務(wù)器模塊，本文在Linux2.6epoll高性能IO事件通知機(jī)制的基礎(chǔ)上，采用面向?qū)ο蟮乃枷耄⒘艘粋€(gè)在復(fù)雜業(yè)務(wù)