壓縮全文索引的研究.pdf

1、全文索引用于處理大文本集合，利用它人們可以在海量文本中快速獲取需要的信息?，F(xiàn)有的全文索引技術歸納起來通常有兩種類型的方法:基于倒排索引的方法和基于后綴數(shù)組的方法。隨著文本信息的爆炸式增長，現(xiàn)有的這些方法在空間消耗、查詢速度或者靈活性上顯得不足，因此，需要探索更好的方法來滿足人們的需求。
　　壓縮全文索引研究的目的是，利用文本壓縮技術和全文索引技術找到一種有效的方法，以相對較小的空間索引原文，支持靈活查詢，甚至可以通過索引恢復原文，

2、從而完全取代原文。
　　本文實現(xiàn)了倒排索引和壓縮后綴數(shù)組索引，并提出了二級壓縮自索引方法。該方法由兩層結(jié)構組成，分別是索引層和表示層。表示層是該索引的第二層結(jié)構，它以原始文本為輸入，為單詞構建編碼，并將原文轉(zhuǎn)換成兩個序列，分別是詞形序列和詞干序列。索引層是該索引的第一層結(jié)構，它接收表示層輸出的序列，通過對詞干序列構建壓縮自索引，為原文提供查詢功能，并可與詞形序列結(jié)合實現(xiàn)原文提取功能。
　　本文提出了分層重排的編碼方法用于表示