基于插值編碼的數(shù)據(jù)空間倒排索引壓縮方法的研究.pdf

1、如今科技發(fā)展迅速，互聯(lián)網(wǎng)數(shù)據(jù)正在以驚人的速度增長。越來越多的人意識到處理如此大規(guī)模數(shù)據(jù)的重要性。搜索引擎作為當今重要的信息獲取工具，在面對數(shù)據(jù)量劇增的網(wǎng)頁信息時，需要對用戶提出的查詢給予高效并且準確的響應。搜索引擎中最重要的技術(shù)之一就是索引，而倒排索引是其中一種十分經(jīng)典并且有效的索引結(jié)構(gòu)。
　　索引壓縮可以有效地將數(shù)據(jù)量減少，這樣一方面可以減少索引占用的磁盤空間資源，另一方面可以減少磁盤讀/寫數(shù)據(jù)量，從而減少用戶查詢的響應時間。因

2、此倒排索引壓縮的意義重大。本文的主要研究對象就是倒排索引。
　　本文仔細分析了現(xiàn)有的位壓縮、編碼、Golomb編碼、插值編碼等常用的倒排索引的壓縮算法。探究各個壓縮算法及其適用的場景，分析每個算法的優(yōu)點與不足。在此基礎上提出了一種改進插值編碼的方法來提高數(shù)據(jù)空間中倒排索引的壓縮效率和搜索查詢效率。首先通過本文提出的新的相似度算法對文檔集合進行預處理，新的相似度算法主要考慮了倒排列表中文檔地址的相鄰性，相比較傳統(tǒng)的余弦相似度函數(shù)針對

3、性更強，促使文檔集合的排列更加符合本文提出的混合壓縮算法；其次，針對插值編碼的過程，本文對其進行了優(yōu)化，首尾指針不進行壓縮，從而提高了插值編碼的壓縮性能；通過分析插值編碼和位編碼各自的優(yōu)缺點，插值編碼更加適合倒排列表中地址相鄰的情況但對輔助棧要求較高，而位編碼更加適合高頻詞匯的倒排列表的壓縮，為此本文提出了混合壓縮算法，其包含了位壓縮和插值編碼的優(yōu)點，并且利用位壓縮的融合，克服了插值編碼對輔助棧要求很高這一缺點。本文選取了結(jié)構(gòu)化和非結(jié)構(gòu)