基于固態(tài)硬盤的倒排索引構(gòu)建與維護(hù)策略研究.pdf

1、信息檢索系統(tǒng)中最核心的數(shù)據(jù)結(jié)構(gòu)是倒排索引。隨著信息化水平的不斷提高,索引數(shù)據(jù)也越來越龐大,必須保存在輔助存儲器中。目前常用的輔存設(shè)備是磁盤,磁盤雖然具有容量大、便宜等優(yōu)點(diǎn),但受制于其機(jī)械特性,磁盤與CPU和內(nèi)存之間速度差距愈發(fā)明顯,造成了信息檢索系統(tǒng)的I/O瓶頸問題。另一方面,基于閃存的固態(tài)硬盤(Solid State Drivers,簡稱SSD)成為了存儲領(lǐng)域的一個研究熱點(diǎn)。與傳統(tǒng)的機(jī)械式硬盤相比,SSD最顯著的優(yōu)點(diǎn)是讀寫速率高。對信

2、息檢索系統(tǒng)而言,使用SSD代替磁盤來存儲倒排索引數(shù)據(jù),可以極大地提高系統(tǒng)的整體性能。但是現(xiàn)有的倒排索引管理策略都是基于磁盤的,SSD卻具有許多與磁盤顯著不同的特性,若直接使用不僅無法充分利用SSD的優(yōu)點(diǎn),還會減少其使用壽命。
　　首先,通過實(shí)驗(yàn)詳細(xì)分析了現(xiàn)有索引策略在SSD上的缺點(diǎn)和不足之處,從中發(fā)現(xiàn)基于原地更新思想的索引管理方法隨機(jī)寫操作過多、性能較差;而另一類基于合并更新思想的方法寫入SSD的數(shù)據(jù)量過大,給SSD帶來額外的損耗

3、。這些問題都是由于沒有充分考慮SSD的特性所造成的。因此,根據(jù)實(shí)驗(yàn)分析的結(jié)果,提出沿用合并更新的思想,但需要進(jìn)行改進(jìn)從而減少其額外寫入的技術(shù)路線。
　　然后,分別提出了基于SSD的倒排索引的構(gòu)建與更新策略:基于分塊存儲的索引構(gòu)建策略與基于混合式合并的索引維護(hù)策略?；诜謮K存儲的索引構(gòu)建策略將待寫入SSD的內(nèi)存索引按術(shù)語預(yù)先分塊存儲,然后對產(chǎn)生的臨時(shí)索引塊只進(jìn)行部分合并操作?；诨旌鲜胶喜⒌乃饕S護(hù)策略不僅避免了對SSD有傷害的隨機(jī)