數(shù)據(jù)流卸載技術(shù)研究.pdf

1、隨著數(shù)據(jù)流應(yīng)用系統(tǒng)的快速發(fā)展，流數(shù)據(jù)管理系統(tǒng)對(duì)數(shù)據(jù)庫技術(shù)提出了巨大挑戰(zhàn)。由于數(shù)據(jù)流經(jīng)常是爆發(fā)性的且數(shù)據(jù)特征可能隨時(shí)變化，因此要求數(shù)據(jù)流管理系統(tǒng)具有良好的自適應(yīng)性。當(dāng)流數(shù)據(jù)的速率超過系統(tǒng)資源限制時(shí)，系統(tǒng)會(huì)產(chǎn)生過載導(dǎo)致性能下降甚至癱瘓。為解決這一問題，卸載技術(shù)是一種行之有效的方法。在這種研究背景下，本文在深入分析數(shù)據(jù)流卸載技術(shù)相關(guān)問題的基礎(chǔ)上，提出了一些新的卸載策略，并通過大量試驗(yàn)，驗(yàn)證了提出策略的高效性。下面對(duì)本文的主要工作和貢獻(xiàn)總結(jié)如下

2、： 首先，提出了一種全面考慮CPU處理能力及內(nèi)存容量的QoS自適應(yīng)框架。該框架能夠在系統(tǒng)資源有限、數(shù)據(jù)輸入速度及特征可變的情況下，使系統(tǒng)具有良好的自適應(yīng)能力以確保高質(zhì)量的QoS?？蚣馨ㄉ舷掠蝺蓚€(gè)部分，其中上游部分為內(nèi)存管理器，由卸載器、清洗器和調(diào)度器三個(gè)部分構(gòu)成，主要負(fù)責(zé)對(duì)DSMS中的內(nèi)存緩沖區(qū)進(jìn)行有效管理。試驗(yàn)結(jié)果表明，該框架具有穩(wěn)定性好、健壯性強(qiáng)的優(yōu)點(diǎn)，在錯(cuò)失率相同的情況下，卸載率、系統(tǒng)資源利用率等幾方面性能均優(yōu)于現(xiàn)有其它

3、方法。在這方面的主要內(nèi)容包括： (1)將基于控制理論的PID控制器引入內(nèi)存負(fù)載管理：分析現(xiàn)有隊(duì)列管理方法的基礎(chǔ)上，在卸載器的設(shè)計(jì)中運(yùn)用了PID控制器，將隊(duì)列長(zhǎng)度維持在期望的占空比，以便達(dá)到降低排隊(duì)延遲、提高吞吐量，同時(shí)保持相當(dāng)?shù)年?duì)列空間來吸收突發(fā)且重要數(shù)據(jù)的目的。將自動(dòng)控制理論的相關(guān)技術(shù)引入數(shù)據(jù)流管理是我們的突出貢獻(xiàn)點(diǎn)，是富有創(chuàng)新性且積極有效的； (2)提出了截止期．重要性優(yōu)先的實(shí)時(shí)調(diào)度算法DIF：當(dāng)在實(shí)際應(yīng)用中需要同時(shí)

4、考慮流數(shù)據(jù)截止期和重要性兩個(gè)特征參數(shù)并為流數(shù)據(jù)分派優(yōu)先級(jí)時(shí)，針對(duì)其它調(diào)度算法的不足，將數(shù)據(jù)優(yōu)先級(jí)作為流數(shù)據(jù)相對(duì)截止期和重要性的線性加權(quán)平均，并同時(shí)考慮了系統(tǒng)的負(fù)載情況。試驗(yàn)表明在所有負(fù)載條件下，DIF算法相對(duì)于其它調(diào)度算法在性能方面具有明顯改善； (3)提出了有效的清洗策略：運(yùn)用一階指數(shù)平滑的方法來估算每個(gè)元組平均處理時(shí)間及在隊(duì)列中的平均等待時(shí)間，在此基礎(chǔ)上提出了有效的清洗策略將不滿足查詢QoS要求的數(shù)據(jù)從隊(duì)列中及時(shí)清除以節(jié)省

5、系統(tǒng)資源。 其次，針對(duì)數(shù)據(jù)流上滑動(dòng)窗口的連接操作，提出了一些新的卸載技術(shù)，使得系統(tǒng)在過載的情況下通過丟棄連接結(jié)果少的元組，達(dá)到減輕系統(tǒng)負(fù)載使系統(tǒng)穩(wěn)定的目的，同時(shí)得到連接結(jié)果的最大子集。對(duì)合成數(shù)據(jù)集和真實(shí)數(shù)據(jù)集的全面測(cè)試表明，本文提出的卸載策略的性能均好于現(xiàn)有其它方法。 在這方面的主要內(nèi)容包括： (1)提出雙窗口模型的概念：在分析數(shù)據(jù)流基于窗口連接操作模型及代價(jià)模型的基礎(chǔ)上，建立了包括連接窗口和輔助窗口在內(nèi)的雙窗口

6、模型，前者用于兩個(gè)流的連接操作，后者用于建立預(yù)估連接結(jié)果的統(tǒng)計(jì)信息，為語義卸載提供有效支持。分別采用了窗口計(jì)數(shù)器、預(yù)估數(shù)組和頻率數(shù)組來維護(hù)相應(yīng)統(tǒng)計(jì)信息，并在實(shí)際中使用樹狀數(shù)組取代頻率數(shù)組以提高計(jì)算效率； (2)提出前后端卸載的策略：在雙窗口模型上采用了前后端卸載的方法，經(jīng)分析和推導(dǎo)證明了在不同數(shù)據(jù)流速情況下，通過前端卸載和后端卸載的配合使用，前端采用隨機(jī)卸載而后端采用理想的語義卸載，從而得到連接結(jié)果的最大子集； (3)提