基于固態(tài)硬盤(pán)的倒排索引構(gòu)建與維護(hù)策略研究.pdf

1、信息檢索系統(tǒng)中最核心的數(shù)據(jù)結(jié)構(gòu)是倒排索引。隨著信息化水平的不斷提高,索引數(shù)據(jù)也越來(lái)越龐大,必須保存在輔助存儲(chǔ)器中。目前常用的輔存設(shè)備是磁盤(pán),磁盤(pán)雖然具有容量大、便宜等優(yōu)點(diǎn),但受制于其機(jī)械特性,磁盤(pán)與CPU和內(nèi)存之間速度差距愈發(fā)明顯,造成了信息檢索系統(tǒng)的I/O瓶頸問(wèn)題。另一方面,基于閃存的固態(tài)硬盤(pán)(Solid State Drivers,簡(jiǎn)稱SSD)成為了存儲(chǔ)領(lǐng)域的一個(gè)研究熱點(diǎn)。與傳統(tǒng)的機(jī)械式硬盤(pán)相比,SSD最顯著的優(yōu)點(diǎn)是讀寫(xiě)速率高。對(duì)信

2、息檢索系統(tǒng)而言,使用SSD代替磁盤(pán)來(lái)存儲(chǔ)倒排索引數(shù)據(jù),可以極大地提高系統(tǒng)的整體性能。但是現(xiàn)有的倒排索引管理策略都是基于磁盤(pán)的,SSD卻具有許多與磁盤(pán)顯著不同的特性,若直接使用不僅無(wú)法充分利用SSD的優(yōu)點(diǎn),還會(huì)減少其使用壽命。
　　首先,通過(guò)實(shí)驗(yàn)詳細(xì)分析了現(xiàn)有索引策略在SSD上的缺點(diǎn)和不足之處,從中發(fā)現(xiàn)基于原地更新思想的索引管理方法隨機(jī)寫(xiě)操作過(guò)多、性能較差;而另一類基于合并更新思想的方法寫(xiě)入SSD的數(shù)據(jù)量過(guò)大,給SSD帶來(lái)額外的損耗

3、。這些問(wèn)題都是由于沒(méi)有充分考慮SSD的特性所造成的。因此,根據(jù)實(shí)驗(yàn)分析的結(jié)果,提出沿用合并更新的思想,但需要進(jìn)行改進(jìn)從而減少其額外寫(xiě)入的技術(shù)路線。
　　然后,分別提出了基于SSD的倒排索引的構(gòu)建與更新策略:基于分塊存儲(chǔ)的索引構(gòu)建策略與基于混合式合并的索引維護(hù)策略?；诜謮K存儲(chǔ)的索引構(gòu)建策略將待寫(xiě)入SSD的內(nèi)存索引按術(shù)語(yǔ)預(yù)先分塊存儲(chǔ),然后對(duì)產(chǎn)生的臨時(shí)索引塊只進(jìn)行部分合并操作?；诨旌鲜胶喜⒌乃饕S護(hù)策略不僅避免了對(duì)SSD有傷害的隨機(jī)