一種基于后綴數(shù)組和倒排表的全文索引模型.pdf

1、全文檢索系統(tǒng)支持快速從海量文本數(shù)據(jù)中檢索信息，具有重要的應(yīng)用價值。全文索引模型是全文檢索系統(tǒng)的核心，它決定了全文檢索系統(tǒng)的功能與性能。全文索引模型設(shè)計為全文檢索研究領(lǐng)域的一個重要課題。
　　全文索引模型性能評價指標(biāo)包括索引查詢時間、索引構(gòu)造時間和索引存儲空間;功能評價指標(biāo)包括自索引、排序查詢、短語查詢和詞邊界未確定語言適應(yīng)性。
　　倒排索引模型查詢速度快、存儲空間小，可以提供排序查詢功能但是不能快速的支持短語查詢，不能很好適

2、應(yīng)中文等詞邊界未確定語言。后綴樹和后綴數(shù)組索引模型支持短語查詢與自索引功能并且對詞邊界未確定語言有很好適應(yīng)性但是不支持排序查詢。ST-PL和CII索引模型結(jié)合后綴樹索引和倒排索引的優(yōu)點(diǎn)。
　　本文提出了SA-PL索引模型，該模型利用后綴數(shù)組可以支持短語查詢、自索引和詞邊界未確定語言適應(yīng)性且與后綴樹相比存儲空間小的特點(diǎn)，將后綴數(shù)組與倒排表相結(jié)合。該模型在提供與ST-PL和CII相同功能的前提下提高查詢速度、減少存儲空間。
　　

3、根據(jù)SA-PL索引模型概念，設(shè)計了SA-PL-0索引模型。在SA-PL-0的基礎(chǔ)上提出一種通過移除較短倒排表對索引空間進(jìn)一步壓縮的索引模型SA-PL-1。
　　論文實(shí)現(xiàn)了SA-PL-0、SA-PL-1、ST-PL和CII索引模型。實(shí)驗(yàn)表明，SA-PL-0和SA-PL-1索引模型可以提供排序查詢、短語查詢和自索引功能并且對詞邊界未確定語言有很好適應(yīng)性，其索引存儲空間和索引查詢時間綜合性能顯著優(yōu)于ST-PL和CII索引模型。SA-PL