動(dòng)態(tài)全文索引系統(tǒng)關(guān)鍵技術(shù)研究.pdf

1、倒排索引是提高全文檢索效率的重要技術(shù)，但是倒排索引的空間效率、動(dòng)態(tài)性能、創(chuàng)建效率和檢索效率一直是倒排索引面臨的關(guān)鍵問題。本文正是圍繞動(dòng)態(tài)全文索引的構(gòu)建合并、增量更新、壓縮存儲(chǔ)和查詢檢索等展開研究，以提高其索引檢索的綜合性能。
　　本文對(duì)基于倒排索引的文件結(jié)構(gòu)以及索引構(gòu)建合并算法進(jìn)行了研究，目標(biāo)是建立與因特網(wǎng)海量信息相適應(yīng)的動(dòng)態(tài)即時(shí)索引文件，高效快捷實(shí)現(xiàn)索引檢索查詢。實(shí)現(xiàn)動(dòng)態(tài)全文索引技術(shù)的難點(diǎn)，一是要提高壓縮率，壓縮倒排索引有助于提

2、高查詢的吞吐量；二是要兼顧動(dòng)態(tài)性，這就需要考慮到索引的添加合并和刪除更新帶來的系統(tǒng)開銷。
　　本文在對(duì)倒排列表的動(dòng)態(tài)特點(diǎn)分析基礎(chǔ)上，發(fā)現(xiàn)文檔ID和詞的位置信息可使用d-gap編碼后再采用變長壓縮方法進(jìn)行壓縮，詞頻則可直接變長壓縮，增加壓縮比。這種混合編碼的辦法在壓縮效率方面優(yōu)于其他支持動(dòng)態(tài)更新的編碼。在對(duì)倒排索引文件結(jié)構(gòu)進(jìn)行深入的研究之后，確立了一種高效的索引文件結(jié)構(gòu)，允許多個(gè)子索引同時(shí)存在，并在某一特定時(shí)間進(jìn)行索引合并優(yōu)化，實(shí)現(xiàn)