基于持久化內(nèi)存文件系統(tǒng)的連接算法分析與并行化研究.pdf

1、連接操作是關(guān)系數(shù)據(jù)庫系統(tǒng)中最基本、最昂貴的操作，對數(shù)據(jù)庫的性能有著重要的影響。為滿足高性能和低功耗的要求，工業(yè)界和學(xué)術(shù)界越來越多地利用新型非易失性內(nèi)存讀寫速度快、可按字節(jié)尋址、低功耗、存儲密度大等特點來存放需要持久化的數(shù)據(jù)。為此，現(xiàn)已有多個針對非易失性內(nèi)存的內(nèi)存文件系統(tǒng)，其文件讀寫方式和性能都不同于傳統(tǒng)基于塊設(shè)備的文件系統(tǒng)。而數(shù)據(jù)庫里的連接表作為文件存放在文件系統(tǒng)中，內(nèi)存文件系統(tǒng)對連接操作的性能影響需要研究。然而，目前尚無針對連接操作在

2、內(nèi)存文件系統(tǒng)的性能分析及其并行化的研究。
　　本文以新型內(nèi)存文件系統(tǒng)SIMFS（Sustainable In-Memory File System）為代表，研究內(nèi)存文件系統(tǒng)的數(shù)據(jù)讀寫與傳統(tǒng)塊設(shè)備文件系統(tǒng)如 EXT4（Fourth Extended File System）的I/O路徑等方面的差異。然后分別實現(xiàn)最常用的Nest Loop Join、Sort Merge Join和Hash Join三種連接操作，在SIMFS和EXT4

3、下設(shè)置不同的數(shù)據(jù)讀寫塊大小和I/O大小對三種連接操作進行測試。
　　本文分別從內(nèi)存文件系統(tǒng)對連接操作的性能優(yōu)化、塊大小對連接操作的影響、三種連接操作之間的比較以及連接操作中數(shù)據(jù)的讀寫等方面進行分析。實驗結(jié)果表明三種連接操作在SIMFS較EXT4中均有不同程度的性能提升。在不同文件系統(tǒng)下連接操作受到塊大小的影響不同，傳統(tǒng)文件系統(tǒng)下，連接操作受到塊大小改變的影響更大。Hash Join和Sort Merge Join分別通過哈希和排序

4、的方式減少數(shù)據(jù)的讀取和比對，性能相對Nest Loop Join有明顯的提升，Hash Join的性能又優(yōu)于Sort Merge Join，三種連接操作在不同文件系統(tǒng)下的性能差距略有不同。不同文件系統(tǒng)下，連接操作的數(shù)據(jù)讀寫在總連接過程中所占比例不同，內(nèi)存文件系統(tǒng)下的數(shù)據(jù)的讀寫在連接操作中的所占的比例較小。
　　根據(jù)對實驗結(jié)果的分析，本文分別提出相關(guān)的優(yōu)化建議。不同于基于塊設(shè)備的文件系統(tǒng)，內(nèi)存文件系統(tǒng)下連接操作的優(yōu)化已經(jīng)不僅要考慮數(shù)