高并發(fā)查詢條件下動(dòng)態(tài)在線全文索引技術(shù)研究.pdf

1、隨著Internet的高速發(fā)展,互聯(lián)網(wǎng)信息量變得越來(lái)越龐大并保持高速增長(zhǎng)。同時(shí),互聯(lián)網(wǎng)的用戶規(guī)模也快速的增加,網(wǎng)民需要一種有效的工具快速的獲取信息。搜索引擎作為海量信息獲取的主要工具,其用戶規(guī)模和使用率因此也在不斷的攀升。作為搜索引擎服務(wù)的提供商,索引了海量、動(dòng)態(tài)的網(wǎng)頁(yè)文件,面對(duì)的問(wèn)題是如何在較短的時(shí)間內(nèi)響應(yīng)用戶的高并發(fā)查詢請(qǐng)求。
　　目前,主流的搜索引擎服務(wù)提供商采用分布式集群的方式分擔(dān)用戶的查詢負(fù)載。但是為了獲得全局最大的處理

2、效率,單個(gè)節(jié)點(diǎn)處理能力的提高是十分必要的。本文利用爬蟲(chóng)采集的數(shù)據(jù),進(jìn)行在高并發(fā)查詢條件下動(dòng)態(tài)在線全文索引技術(shù)研究,將索引高并發(fā)快速響應(yīng)的問(wèn)題轉(zhuǎn)化為查詢結(jié)果讀取不阻塞的問(wèn)題。主要工作包括以下幾點(diǎn):
　　(1)對(duì)倒排表存儲(chǔ)結(jié)構(gòu)設(shè)計(jì)和壓縮算法進(jìn)行研究。對(duì)于海量數(shù)據(jù)來(lái)說(shuō),索引文件較大,不能一次性讀入內(nèi)存當(dāng)中。因此系統(tǒng)需要通過(guò)查詢內(nèi)存中的詞表,獲得對(duì)應(yīng)的倒排表在磁盤(pán)中的位置后再將倒排表讀入到內(nèi)存中。在高并發(fā)查詢條件下,索引的壓縮率和索引的解

3、壓速度在很大程度上決定了查詢系統(tǒng)的效率。本文基于現(xiàn)有壓縮算法的基礎(chǔ)上，提出了自適應(yīng)分塊大小的VB_PForDelta壓縮算法,平衡了壓縮率和解壓速度。實(shí)驗(yàn)證明,本文提出的方法具有較好的壓縮率和解壓速度。
　　(2)對(duì)緩存結(jié)構(gòu)和替換策略進(jìn)行研究。從磁盤(pán)中的索引文件中讀出倒排表存入到內(nèi)存中后,需要在內(nèi)存有限空間內(nèi)緩存一段時(shí)間。待下次查詢時(shí)加速響應(yīng)速度。本文提出一種基于歷史記錄特征的緩存結(jié)構(gòu)以及相適應(yīng)的替換算法HFC,通過(guò)查詢語(yǔ)句歷史出