版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)
文檔簡(jiǎn)介
1、隨著數(shù)字技術(shù)和計(jì)算機(jī)信息化的普及和發(fā)展,許多單位和部門都采用了計(jì)算機(jī)進(jìn)行管理和運(yùn)營(yíng)。這些計(jì)算機(jī)系統(tǒng)通常都具有強(qiáng)大的收集、存儲(chǔ)和處理數(shù)據(jù)的能力。生產(chǎn)監(jiān)控?cái)?shù)據(jù)、醫(yī)療數(shù)據(jù)、人口統(tǒng)計(jì)數(shù)據(jù)、財(cái)經(jīng)數(shù)據(jù)和海洋數(shù)據(jù)等,這些日積月累的數(shù)據(jù)形成了一個(gè)巨大的“寶藏”,如何有效地管理這些數(shù)據(jù),從中挖掘規(guī)律性知識(shí),指導(dǎo)制定生產(chǎn)和營(yíng)銷策略,就顯得越來越重要。數(shù)據(jù)倉庫技術(shù)正是為此提供解決方案而產(chǎn)生的,也是目前學(xué)術(shù)界和工業(yè)界研究開發(fā)的熱點(diǎn)問題之一。隨著網(wǎng)絡(luò)時(shí)代的到來,
2、網(wǎng)絡(luò)技術(shù)的飛速發(fā)展,已經(jīng)而且正在繼續(xù)改變著人們的生活及思維方式。每個(gè)人、每個(gè)企業(yè)可以在充分利用全世界信息資源的前提下做出自己的決策,人們不僅僅是在普通地查詢和訪問數(shù)據(jù),更重要的是從數(shù)據(jù)中獲取信息和知識(shí),進(jìn)而支持科學(xué)的決策。數(shù)據(jù)倉庫及其之上的OLAP分析技術(shù)和數(shù)據(jù)挖掘技術(shù)提供了獲取信息和知識(shí)的手段。
數(shù)據(jù)倉庫和OLAP技術(shù)都是基于多維模型的。多維數(shù)據(jù)模型是面向分析應(yīng)用而提出來的一種直觀的概念模型,可以直接地表達(dá)分析目標(biāo)。該模
3、型將數(shù)據(jù)看作數(shù)據(jù)立方體形式。而建立數(shù)據(jù)倉庫進(jìn)行OLAP處理的最終目的都是服務(wù)于決策分析的,需要的是對(duì)用戶查詢的快速而準(zhǔn)確的響應(yīng),這就要求針對(duì)數(shù)據(jù)立方的查詢結(jié)果要準(zhǔn)確、響應(yīng)要快速,因此數(shù)據(jù)立方的構(gòu)建問題就變得極其重要。因此本文研究數(shù)據(jù)立方的構(gòu)建等相關(guān)技術(shù),具體包括以下幾個(gè)方面的內(nèi)容。
(1)針對(duì)數(shù)據(jù)倉庫的物化視圖選擇問題,提出了一種基于查詢模式的動(dòng)態(tài)物化視圖選擇算法。物化視圖的選擇和調(diào)整不但考慮了視圖物化所需的空間限制,還參
4、照了用戶以往的查詢模式來調(diào)整其計(jì)算參數(shù),每個(gè)視圖都被賦予了一個(gè)權(quán)重,視圖被查詢的次數(shù)越多,其權(quán)重越大,則該視圖被物化的可能性就越大。與傳統(tǒng)的物化視圖選擇算法相比,基于查詢模式的動(dòng)態(tài)物化視圖選擇算法的查詢命中率大大提高。
(2)針對(duì)高維低基數(shù)的數(shù)據(jù)立方的計(jì)算和查詢問題,提出了一種基于壓縮位圖的索引結(jié)構(gòu),以及兩個(gè)相應(yīng)的高維數(shù)據(jù)集上數(shù)據(jù)立方計(jì)算和查詢的算法。壓縮位圖索引的位“與”運(yùn)算速度非???引入“起始有效指針”和“結(jié)束有效指
5、針”大大降低了位“與”運(yùn)算的次數(shù)和內(nèi)存消耗。與Frag-Cubing算法相比,壓縮位圖索引算法計(jì)算數(shù)據(jù)立方的時(shí)間開銷節(jié)省了30%,存儲(chǔ)空間節(jié)省了25%以上。
(3)針對(duì)消除前綴冗余和后綴冗余的語義壓縮數(shù)據(jù)立方結(jié)構(gòu)Dwarf的存儲(chǔ)問題,提出了兩個(gè)基于頁面分區(qū)策略的加速查詢的聚簇算法。遞歸聚簇算法考慮了點(diǎn)查詢對(duì)Dwarf節(jié)點(diǎn)進(jìn)行深度優(yōu)先順序查詢的特點(diǎn)進(jìn)行聚簇,層次聚簇算法考慮了范圍查詢對(duì)Dwarf節(jié)點(diǎn)進(jìn)行廣度優(yōu)先順序查詢的特點(diǎn)
6、進(jìn)行聚簇。采用邏輯聚簇的機(jī)制來保證聚簇特性。與Dwarf原來的聚簇相比,遞歸聚簇算法更適合于點(diǎn)查詢,層次聚簇算法適用于范圍查詢,查詢時(shí)間和I/O時(shí)間的性能都有很大提高。
(4)針對(duì)數(shù)據(jù)立方中對(duì)度量值進(jìn)行實(shí)時(shí)動(dòng)態(tài)泛化統(tǒng)計(jì)分析的查詢需求,提出了一種適合動(dòng)態(tài)泛化統(tǒng)計(jì)分析的數(shù)據(jù)立方模型。數(shù)據(jù)泛化是通過將相對(duì)較低層次的值(如屬性age的數(shù)值)用較高層次的概念(如青年、中年和老年)置換來得到匯總數(shù)據(jù)的過程。新模型通過對(duì)傳統(tǒng)數(shù)據(jù)立方模型
7、的維和事實(shí)表的定義進(jìn)行擴(kuò)展,解決了傳統(tǒng)方法對(duì)動(dòng)態(tài)泛化統(tǒng)計(jì)分析實(shí)現(xiàn)的不靈活性和無法對(duì)動(dòng)態(tài)泛化統(tǒng)計(jì)分析下的數(shù)據(jù)立方進(jìn)行預(yù)先物化而造成查詢性能過低等缺點(diǎn)。針對(duì)動(dòng)態(tài)泛化分析查詢,新模型在查詢時(shí)間、用戶滿意度和操作靈活性等方面都優(yōu)于傳統(tǒng)模型。
(5)最后根據(jù)對(duì)Dwarf上點(diǎn)查詢和范圍查詢的特點(diǎn)的分析和對(duì)Windows磁盤管理子系統(tǒng)的分析,提出了一個(gè)加速數(shù)據(jù)立方查詢的自定義緩沖機(jī)制,在基于自定義緩沖區(qū)的查詢系統(tǒng)中,在聚簇Dwarf的基
8、礎(chǔ)上對(duì)維排序?qū)傩赃M(jìn)行了重新選擇,將一部分經(jīng)常被查詢到的Dwarf節(jié)點(diǎn)放在自定義的緩沖區(qū)中以減少I/O次數(shù)加快查詢速度,自定義緩沖機(jī)制對(duì)查詢性能的提升十分顯著。
總之,本文研究了數(shù)據(jù)倉庫中關(guān)于數(shù)據(jù)立方構(gòu)建的相關(guān)問題,提出了基于物化視圖策略、索引策略、語義壓縮策略和緩沖策略的新的數(shù)據(jù)立方構(gòu)建算法,設(shè)計(jì)了一種適合動(dòng)態(tài)泛化統(tǒng)計(jì)分析的數(shù)據(jù)立方模型,有效地解決了一系列數(shù)據(jù)立方構(gòu)建和查詢的相關(guān)問題,理論分析和大量的實(shí)驗(yàn)結(jié)果證明了這些算法
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 眾賞文庫僅提供信息存儲(chǔ)空間,僅對(duì)用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。
最新文檔
- 基于Hadoop的統(tǒng)計(jì)直方圖數(shù)據(jù)立方的構(gòu)建與查詢技術(shù)研究與實(shí)現(xiàn).pdf
- 數(shù)據(jù)立方體生成技術(shù)研究.pdf
- 地震數(shù)據(jù)高效存儲(chǔ)技術(shù)研究.pdf
- 支持?jǐn)?shù)據(jù)挖掘的本體技術(shù)研究.pdf
- 無線傳感器網(wǎng)絡(luò)杳詢QoS機(jī)制研究.pdf
- 數(shù)據(jù)倉庫中封閉數(shù)據(jù)立方體技術(shù)研究.pdf
- 支持隱私保護(hù)的數(shù)據(jù)發(fā)布技術(shù)研究.pdf
- 多維數(shù)據(jù)模型和數(shù)據(jù)立方體技術(shù)研究.pdf
- DICOM圖像數(shù)據(jù)的高效處理技術(shù)研究.pdf
- 面向數(shù)據(jù)挖掘的支持向量機(jī)技術(shù)研究.pdf
- 遠(yuǎn)程數(shù)據(jù)自動(dòng)恢復(fù)支持技術(shù)研究.pdf
- 基于支持向量機(jī)的數(shù)據(jù)挖掘技術(shù)研究.pdf
- 支持Mashup的數(shù)據(jù)集成技術(shù)研究與應(yīng)用.pdf
- 支持海量異構(gòu)數(shù)據(jù)集成的模式匹配技術(shù)研究.pdf
- 基于Hadoop的數(shù)據(jù)庫中高效數(shù)據(jù)存取技術(shù)研究.pdf
- 移動(dòng)通信語音通道數(shù)據(jù)高效傳輸技術(shù)研究.pdf
- 高效支持?jǐn)?shù)據(jù)更新的XML編碼.pdf
- 數(shù)據(jù)清洗和支持向量機(jī)技術(shù)研究.pdf
- 基于濃縮數(shù)據(jù)立方的數(shù)據(jù)立方梯度挖掘研究.pdf
- 構(gòu)建高效的校園網(wǎng)的應(yīng)用技術(shù)研究.pdf
評(píng)論
0/150
提交評(píng)論