壓縮全文索引的研究.pdf

1、全文索引用于處理大文本集合，利用它人們可以在海量文本中快速獲取需要的信息?，F(xiàn)有的全文索引技術(shù)歸納起來(lái)通常有兩種類型的方法:基于倒排索引的方法和基于后綴數(shù)組的方法。隨著文本信息的爆炸式增長(zhǎng)，現(xiàn)有的這些方法在空間消耗、查詢速度或者靈活性上顯得不足，因此，需要探索更好的方法來(lái)滿足人們的需求。
　　壓縮全文索引研究的目的是，利用文本壓縮技術(shù)和全文索引技術(shù)找到一種有效的方法，以相對(duì)較小的空間索引原文，支持靈活查詢，甚至可以通過(guò)索引恢復(fù)原文，

2、從而完全取代原文。
　　本文實(shí)現(xiàn)了倒排索引和壓縮后綴數(shù)組索引，并提出了二級(jí)壓縮自索引方法。該方法由兩層結(jié)構(gòu)組成，分別是索引層和表示層。表示層是該索引的第二層結(jié)構(gòu)，它以原始文本為輸入，為單詞構(gòu)建編碼，并將原文轉(zhuǎn)換成兩個(gè)序列，分別是詞形序列和詞干序列。索引層是該索引的第一層結(jié)構(gòu)，它接收表示層輸出的序列，通過(guò)對(duì)詞干序列構(gòu)建壓縮自索引，為原文提供查詢功能，并可與詞形序列結(jié)合實(shí)現(xiàn)原文提取功能。
　　本文提出了分層重排的編碼方法用于表示