多核平臺(tái)索引壓縮及請(qǐng)求處理并行算法研究.pdf

1、面對(duì)日益增長(zhǎng)的海量網(wǎng)頁(yè)數(shù)據(jù)和更大規(guī)模的用戶查詢請(qǐng)求，如何保證較高的處理效率是當(dāng)代搜索引擎面臨的嚴(yán)峻挑戰(zhàn)，同時(shí)也是信息檢索系統(tǒng)始終需要解決的核心問題。另一方面，現(xiàn)代處理器中的多核架構(gòu)日趨成熟，這為搜索引擎這種計(jì)算密集型應(yīng)用提供了更強(qiáng)的硬件支持。目前主流處理器中的單指令流多數(shù)據(jù)流（Single Instruction Multiple Data，SIMD）指令，能夠在較短的時(shí)間內(nèi)完成更多的數(shù)據(jù)運(yùn)算，從而實(shí)現(xiàn)加速效果。
　　針對(duì)上述問題

2、和背景，論文結(jié)合現(xiàn)代處理器中的并行架構(gòu)，在總結(jié)前人工作的基礎(chǔ)上，提出了適用于SIMD結(jié)構(gòu)的倒排列表求交及倒排索引解壓的并行算法。具體來說，論文探討了相關(guān)算法原理，結(jié)合Intel處理器平臺(tái)的SIMD流技術(shù)擴(kuò)展（Streaming SIMD Extensions，SSE）指令集及高級(jí)矢量擴(kuò)展(AdvancedVector Extensions，AVX)指令集進(jìn)行優(yōu)化，提升了查詢處理效率，并在壓縮處理上取得明顯效果。論文研究工作主要包括以下兩

3、個(gè)方面:
　　第一，倒排列表求交過程中，搜索算法往往會(huì)成為性能瓶頸。SSE指令集中的字符串搜索指令，可以充分利用并行優(yōu)勢(shì)加速搜索計(jì)算。本文選擇了適合SIMD結(jié)構(gòu)的兩種求交算法進(jìn)行改進(jìn)，即哈希分段和線性回歸。從實(shí)驗(yàn)結(jié)果上看，上述兩種改進(jìn)算法都取得了明顯效果。
　　第二，對(duì)于搜索引擎來說，如何將倒排索引更多地存入內(nèi)存同樣是影響性能的關(guān)鍵。為了解決這個(gè)問題，通常需要對(duì)倒排索引進(jìn)行壓縮。由于索引壓縮一般在預(yù)處理階段完成，相比于壓縮速