信息資源集成平臺信息處理子系統(tǒng)的設(shè)計與實現(xiàn).pdf

1、信息技術(shù)發(fā)展到今天，給人們帶來了很多方便，同時也給人們帶來了龐大的數(shù)據(jù)信息積累。這些數(shù)據(jù)不僅數(shù)量龐大，同時數(shù)據(jù)存儲的時間也很長，而且絕大部分數(shù)據(jù)都會存儲在不同數(shù)據(jù)庫中，以上這些因素都導(dǎo)致了數(shù)據(jù)集成的困難。本篇論文中所研究的信息資源集成平臺信息處理子系統(tǒng)很好的解決了數(shù)據(jù)集成問題。本篇論文設(shè)計和實現(xiàn)的信息處理子系統(tǒng)在數(shù)據(jù)采集與數(shù)據(jù)輸出上屏蔽了各數(shù)據(jù)庫之間的類型差異性。實現(xiàn)了多方式數(shù)據(jù)采集，高效數(shù)據(jù)輸出，數(shù)據(jù)過濾和數(shù)據(jù)傳輸?shù)裙δ堋?br>　　

2、本篇論文研究的信息處理子系統(tǒng)在數(shù)據(jù)采集方面，能夠為用戶提供多方式數(shù)據(jù)采集，包括全量數(shù)據(jù)采集、流水號數(shù)據(jù)采集和觸發(fā)器數(shù)據(jù)采集，全量采集會將數(shù)據(jù)庫表中的數(shù)據(jù)全部采出，流水號采集會取數(shù)據(jù)庫表中某一字段作為流水號字段進行數(shù)據(jù)采集，時間戳采集會選取數(shù)據(jù)庫表中某一時間字段作為增量時間標志進行數(shù)據(jù)采集，觸發(fā)器采集就是當數(shù)據(jù)發(fā)生相關(guān)變化時對數(shù)據(jù)進行采集，同時也為用戶提供了數(shù)據(jù)過濾功能，使用戶能夠按照自身需求有真對性的對數(shù)據(jù)庫中數(shù)據(jù)進行采集；在數(shù)據(jù)輸出方

3、面，采用單一輸出與批量輸出兩種方式，單一數(shù)據(jù)輸出速率較慢但可靠性高，批量數(shù)據(jù)輸出速率高，數(shù)據(jù)可靠性稍差一些，這由用戶自行選擇，同時配置字段映射保證數(shù)據(jù)采集的一致性，當輸出數(shù)據(jù)發(fā)生沖突時，由用戶已配置的沖突處理規(guī)則進行處理；當采集的數(shù)據(jù)需要進行傳輸時，本論文設(shè)計實現(xiàn)的信息處理子系統(tǒng)會進行高效的數(shù)據(jù)傳輸，在子系統(tǒng)中進行數(shù)據(jù)傳輸前對數(shù)據(jù)進行了.zip格式的壓縮同時使用了Netty網(wǎng)絡(luò)數(shù)據(jù)傳輸框架，利用了Netty NIO的特性，使數(shù)據(jù)傳輸變得

4、高效。
　　信息處理子系統(tǒng)與信息資源集成平臺協(xié)同合作，能夠為用戶在數(shù)據(jù)采集方面帶來極大的方便。使用戶在數(shù)據(jù)采集時無需考慮不同數(shù)據(jù)庫類型之間的差異性，同時能夠根據(jù)多方式數(shù)據(jù)處理策略進行數(shù)據(jù)的采集與輸出，用戶通過信息處理子系統(tǒng)對數(shù)據(jù)的采集與輸出會更加的有針對性與選擇性。信息處理子系統(tǒng)能給用戶帶來穩(wěn)定高效的數(shù)據(jù)傳輸，保證數(shù)據(jù)的可靠性與完整性?？傊菊撐闹醒芯康男畔⑻幚碜酉到y(tǒng)實現(xiàn)了屏蔽數(shù)據(jù)庫類型差異性的多方式的數(shù)據(jù)處理，數(shù)據(jù)高效輸出與傳