面向大規(guī)模雷電信息的數(shù)據(jù)庫(kù)存儲(chǔ)與管理.pdf

1、隨著雷電探測(cè)站點(diǎn)的增多以及長(zhǎng)期對(duì)雷電信息的監(jiān)測(cè)，中心站實(shí)時(shí)定位系統(tǒng)數(shù)據(jù)庫(kù)遇到了新的挑戰(zhàn)。雷電數(shù)據(jù)是進(jìn)行計(jì)算和研究的重要依據(jù)，面對(duì)突發(fā)性強(qiáng)的大規(guī)模數(shù)據(jù)，如果沒(méi)有高效快速的存取方法將破壞整體后期數(shù)據(jù)處理的實(shí)時(shí)性。本文從數(shù)據(jù)的加載存儲(chǔ)、數(shù)據(jù)庫(kù)管理組織以及數(shù)據(jù)備份和恢復(fù)等方面來(lái)進(jìn)行研究，保證數(shù)據(jù)的實(shí)時(shí)性和有效性，主要內(nèi)容如下：
　　第一，實(shí)現(xiàn)了數(shù)據(jù)庫(kù)的高效實(shí)用存儲(chǔ)設(shè)計(jì)。針對(duì)海量雷電信息處理的需求，通過(guò)分析數(shù)據(jù)庫(kù)高速加載工具SQL*LOAD

2、ER，提出了自動(dòng)定時(shí)批量并行數(shù)據(jù)加載的方法。首先對(duì)數(shù)據(jù)進(jìn)行解析，然后實(shí)現(xiàn)多級(jí)并行加載。整個(gè)應(yīng)用程序在VC平臺(tái)開(kāi)發(fā)完成，在數(shù)據(jù)庫(kù)服務(wù)器端自動(dòng)定時(shí)值班。
　　第二，制定了基于分區(qū)的實(shí)時(shí)數(shù)據(jù)與歷史數(shù)據(jù)的分離存儲(chǔ)策略。當(dāng)數(shù)據(jù)對(duì)定位計(jì)算系統(tǒng)可用后，為減少查詢分析中的數(shù)據(jù)量和實(shí)現(xiàn)數(shù)據(jù)的高效管理，根據(jù)數(shù)據(jù)的?；钇趯?shí)時(shí)數(shù)據(jù)和歷史數(shù)據(jù)分離，并按照不同的時(shí)間粒度進(jìn)行分區(qū)操作。
　　第三，實(shí)現(xiàn)了對(duì)數(shù)據(jù)庫(kù)性能調(diào)整和優(yōu)化。本文首先對(duì)數(shù)據(jù)庫(kù)系統(tǒng)隨著數(shù)

3、據(jù)量增大所面臨的問(wèn)題進(jìn)行了總結(jié)，并使用性能監(jiān)測(cè)工具分析數(shù)據(jù)庫(kù)運(yùn)行狀態(tài)。以此為基礎(chǔ)，進(jìn)行了綜合查找分析，主要在SQL語(yǔ)句、磁盤I/O、數(shù)據(jù)庫(kù)參數(shù)配置和分區(qū)轉(zhuǎn)換等方面提出了優(yōu)化方法和策略。
　　第四，完成了數(shù)據(jù)庫(kù)的備份和恢復(fù)設(shè)計(jì)。通過(guò)對(duì)數(shù)據(jù)庫(kù)備份與恢復(fù)方法的研究以及RMAN的工作機(jī)制深入分析，提出了雷電數(shù)據(jù)庫(kù)在線多級(jí)備份策略。根據(jù)不同的時(shí)間頻率和時(shí)間點(diǎn)，對(duì)不同的數(shù)據(jù)對(duì)象進(jìn)行自動(dòng)、增量備份。該方法可以有效的減少數(shù)據(jù)備份時(shí)間，降低備份操作