面向分布式環(huán)境的數(shù)據(jù)交互與存取模型研究.pdf

1、分布式環(huán)境下異構(gòu)系統(tǒng)間的數(shù)據(jù)交互與共享技術(shù)，是分布式領(lǐng)域的關(guān)鍵技術(shù)之一。伴隨網(wǎng)絡(luò)結(jié)構(gòu)的日趨復(fù)雜以及網(wǎng)絡(luò)規(guī)模的日益擴(kuò)大，具有分布式特點(diǎn)的異構(gòu)環(huán)境不斷增加，各種數(shù)據(jù)量也隨之劇增，“信息孤島”問(wèn)題愈演愈烈。美國(guó)互聯(lián)網(wǎng)數(shù)據(jù)中心研究表明，互聯(lián)網(wǎng)數(shù)據(jù)每年將增長(zhǎng)50％，兩年便可翻倍;目前，最近幾年所產(chǎn)生的數(shù)據(jù)占世界數(shù)據(jù)總和的90％以上。綜上所述，系統(tǒng)的分布式特點(diǎn)和數(shù)據(jù)量的劇增，使人們逐步進(jìn)入信息化、大數(shù)據(jù)時(shí)代，系統(tǒng)內(nèi)或系統(tǒng)間的數(shù)據(jù)交互在可靠性、靈活性

2、和實(shí)時(shí)性等方面尚有許多不足。目前，我國(guó)教育信息化建設(shè)在基礎(chǔ)設(shè)施和資源建設(shè)方面已初具規(guī)模，但在一體化信息建設(shè)方面尚顯不足，亟需一套比較完善的數(shù)據(jù)交互和共享類產(chǎn)品。
　　為了滿足上述不足，本文面向分布式環(huán)境下的數(shù)據(jù)交互與海量數(shù)據(jù)存取領(lǐng)域進(jìn)行研究。在數(shù)據(jù)交互方面，首先，借鑒數(shù)據(jù)庫(kù)同步復(fù)制機(jī)制，并結(jié)合差異同步法，提出以事務(wù)為單位的基于更新日志的數(shù)據(jù)同步法;通過(guò)對(duì)事務(wù)操作進(jìn)行監(jiān)聽(tīng)，將成功執(zhí)行的事務(wù)對(duì)應(yīng)的數(shù)據(jù)變更操作，拆分為對(duì)應(yīng)的原子SQL操

3、作，并分析各個(gè)操作間的關(guān)系;提出日志項(xiàng)合并算法，對(duì)各操作進(jìn)行合并，之后寫入更新日志。然后，基于已有的數(shù)據(jù)傳輸與同步方案，使用消息中間件技術(shù)，提出基于發(fā)布/訂閱的數(shù)據(jù)傳輸模型，用于傳輸更新日志實(shí)現(xiàn)數(shù)據(jù)交互。最后，將三者結(jié)合，提出面向分布式環(huán)境的通用數(shù)據(jù)交互接口模型。在數(shù)據(jù)存取方面，基于關(guān)系數(shù)據(jù)庫(kù)為主、NoSQL為輔的架構(gòu)，提出關(guān)系數(shù)據(jù)庫(kù)為主、NoSQL為高速緩存的數(shù)據(jù)存取模型;通過(guò)創(chuàng)建一個(gè)數(shù)據(jù)庫(kù)字段訪問(wèn)頻率函數(shù)和閾值，將訪問(wèn)頻率大于閾值的

4、字段存儲(chǔ)到NoSQL，從而提高了緩存命中率。數(shù)據(jù)交互接口模型和數(shù)據(jù)存取模型共同組成數(shù)據(jù)交互與存取模型，本文將該模型應(yīng)用于學(xué)位信息上報(bào)部分作為應(yīng)用實(shí)例，設(shè)計(jì)并實(shí)現(xiàn)了通用學(xué)位信息上報(bào)組件。在該實(shí)例中，通過(guò)變更數(shù)據(jù)捕獲器捕獲高校端變更的學(xué)位信息，使用合并算法將變更的數(shù)據(jù)壓縮后寫入更新日志;然后，利用組代理消息中間件傳輸日志到學(xué)位中心端，通過(guò)更新監(jiān)聽(tīng)器解析執(zhí)行更新日志內(nèi)容，將變更數(shù)據(jù)同步到關(guān)系數(shù)據(jù)庫(kù);最后，學(xué)位中心端同步控制器將關(guān)系數(shù)據(jù)庫(kù)的變更