基于固態(tài)硬盤的搜索引擎混合式存儲結(jié)構(gòu)研究.pdf

1、大型搜索引擎索引了數(shù)以億計的海量文檔,每秒鐘需要處理數(shù)百萬個查詢請求。目前,許多大型搜索引擎使用磁盤(HDD)存儲海量的索引數(shù)據(jù),磁盤的低速 I/O成為其主要性能瓶頸。與傳統(tǒng)的機械式磁盤不同,新型存儲設(shè)備固態(tài)硬盤(SSD)有許多優(yōu)點,尤其是其較高的隨機數(shù)據(jù)存取能力,然而,它也有潛在的問題,如單位容量存儲成本高、讀寫速度不對稱和塊擦除次數(shù)有限等,因此,當(dāng)前大型搜索引擎還不能用SSD完全取代磁盤。
　　搜索引擎是典型的I/O密集型應(yīng)用

2、,它在I/O模式上表現(xiàn)出明顯的特征,如讀為主、局部性、跳躍讀和隨機讀?；赟SD的搜索引擎混合式存儲結(jié)構(gòu)是檢索性能、硬件成本和系統(tǒng)可靠性的折中,它綜合考慮了SSD的讀寫特性和搜索引擎應(yīng)用的I/O特征,將熱點數(shù)據(jù)緩存在內(nèi)存和SSD中,盡可能減少訪問磁盤的次數(shù),提高系統(tǒng)的I/O性能。
　　基于SSD的搜索引擎混合式存儲的數(shù)據(jù)管理策略采用基于日志的思想組織SSD中的數(shù)據(jù),其目的是提高搜索引擎的檢索性能,同時降低SSD中的塊擦除操作,它主

3、要包括三個方面:一是數(shù)據(jù)選擇策略,它是根據(jù)緩存數(shù)據(jù)的不同特征,合理的選擇數(shù)據(jù)存儲在內(nèi)存或SSD中;二是數(shù)據(jù)放置策略,它采用一種改進的基于日志的數(shù)據(jù)管理策略來組織和管理SSD中的數(shù)據(jù),以確保其高效的讀寫;三是數(shù)據(jù)替換策略,它對SSD中緩存的結(jié)果和倒排表采取不同的覆寫策略,以盡量避免開銷昂貴的隨機寫操作,減少塊擦除操作。實驗結(jié)果進一步驗證了上述數(shù)據(jù)管理策略的有效性,其中,緩存命中率提高了13.31％,檢索性能提高了41.05％,SSD中Fl