信息資源集成平臺(tái)信息處理子系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、信息技術(shù)發(fā)展到今天，給人們帶來了很多方便，同時(shí)也給人們帶來了龐大的數(shù)據(jù)信息積累。這些數(shù)據(jù)不僅數(shù)量龐大，同時(shí)數(shù)據(jù)存儲(chǔ)的時(shí)間也很長(zhǎng)，而且絕大部分?jǐn)?shù)據(jù)都會(huì)存儲(chǔ)在不同數(shù)據(jù)庫中，以上這些因素都導(dǎo)致了數(shù)據(jù)集成的困難。本篇論文中所研究的信息資源集成平臺(tái)信息處理子系統(tǒng)很好的解決了數(shù)據(jù)集成問題。本篇論文設(shè)計(jì)和實(shí)現(xiàn)的信息處理子系統(tǒng)在數(shù)據(jù)采集與數(shù)據(jù)輸出上屏蔽了各數(shù)據(jù)庫之間的類型差異性。實(shí)現(xiàn)了多方式數(shù)據(jù)采集，高效數(shù)據(jù)輸出，數(shù)據(jù)過濾和數(shù)據(jù)傳輸?shù)裙δ堋?br>　　

2、本篇論文研究的信息處理子系統(tǒng)在數(shù)據(jù)采集方面，能夠?yàn)橛脩籼峁┒喾绞綌?shù)據(jù)采集，包括全量數(shù)據(jù)采集、流水號(hào)數(shù)據(jù)采集和觸發(fā)器數(shù)據(jù)采集，全量采集會(huì)將數(shù)據(jù)庫表中的數(shù)據(jù)全部采出，流水號(hào)采集會(huì)取數(shù)據(jù)庫表中某一字段作為流水號(hào)字段進(jìn)行數(shù)據(jù)采集，時(shí)間戳采集會(huì)選取數(shù)據(jù)庫表中某一時(shí)間字段作為增量時(shí)間標(biāo)志進(jìn)行數(shù)據(jù)采集，觸發(fā)器采集就是當(dāng)數(shù)據(jù)發(fā)生相關(guān)變化時(shí)對(duì)數(shù)據(jù)進(jìn)行采集，同時(shí)也為用戶提供了數(shù)據(jù)過濾功能，使用戶能夠按照自身需求有真對(duì)性的對(duì)數(shù)據(jù)庫中數(shù)據(jù)進(jìn)行采集；在數(shù)據(jù)輸出方

3、面，采用單一輸出與批量輸出兩種方式，單一數(shù)據(jù)輸出速率較慢但可靠性高，批量數(shù)據(jù)輸出速率高，數(shù)據(jù)可靠性稍差一些，這由用戶自行選擇，同時(shí)配置字段映射保證數(shù)據(jù)采集的一致性，當(dāng)輸出數(shù)據(jù)發(fā)生沖突時(shí)，由用戶已配置的沖突處理規(guī)則進(jìn)行處理；當(dāng)采集的數(shù)據(jù)需要進(jìn)行傳輸時(shí)，本論文設(shè)計(jì)實(shí)現(xiàn)的信息處理子系統(tǒng)會(huì)進(jìn)行高效的數(shù)據(jù)傳輸，在子系統(tǒng)中進(jìn)行數(shù)據(jù)傳輸前對(duì)數(shù)據(jù)進(jìn)行了.zip格式的壓縮同時(shí)使用了Netty網(wǎng)絡(luò)數(shù)據(jù)傳輸框架，利用了Netty NIO的特性，使數(shù)據(jù)傳輸變得

4、高效。
　　信息處理子系統(tǒng)與信息資源集成平臺(tái)協(xié)同合作，能夠?yàn)橛脩粼跀?shù)據(jù)采集方面帶來極大的方便。使用戶在數(shù)據(jù)采集時(shí)無需考慮不同數(shù)據(jù)庫類型之間的差異性，同時(shí)能夠根據(jù)多方式數(shù)據(jù)處理策略進(jìn)行數(shù)據(jù)的采集與輸出，用戶通過信息處理子系統(tǒng)對(duì)數(shù)據(jù)的采集與輸出會(huì)更加的有針對(duì)性與選擇性。信息處理子系統(tǒng)能給用戶帶來穩(wěn)定高效的數(shù)據(jù)傳輸，保證數(shù)據(jù)的可靠性與完整性。總之，本論文中研究的信息處理子系統(tǒng)實(shí)現(xiàn)了屏蔽數(shù)據(jù)庫類型差異性的多方式的數(shù)據(jù)處理，數(shù)據(jù)高效輸出與傳