大規(guī)模中文文本檢索中的高性能索引研究.pdf

1、隨著互聯(lián)網(wǎng)上信息的不斷增長和日益更新，檢索系統(tǒng)，特別是中文文本檢索系統(tǒng)，正在受到人們越來越多的關(guān)注。索引是檢索系統(tǒng)必不可少的組成部分，是檢索系統(tǒng)提供快速查詢服務(wù)的關(guān)鍵。倒排文件是大規(guī)模檢索系統(tǒng)最常用的索引形式。然而，通常情況下，索引的構(gòu)建，即倒排文件的生成，是一個非常耗時的過程。為了適應(yīng)大規(guī)模的文本檢索任務(wù)，有必要研究加快構(gòu)建索引的手段。通過對索引過程的各個階段進行分析，本文指出，通常的索引算法效率不高的主要原因有二：1)CPU和I/O

2、部件相互等待，使得系統(tǒng)資源的利用率不高；2)文檔分析階段是整個索引過程中的瓶頸，特別的，對中文文本而言，分詞是主要的開銷。針對第一個問題，本文在串行的索引流程中引入流水線結(jié)構(gòu)，提高了資源部件的并行程度，進而縮短倒排文件的生成時間；在此基礎(chǔ)上，文中還比較了流水線結(jié)構(gòu)在不同參數(shù)下的性能差異。針對第二個問題，可以采用優(yōu)化的詞典結(jié)構(gòu)，以加快中文的分詞速度，從而達到減少分析階段時間開銷的目的；在比較了幾種常見的詞典結(jié)構(gòu)之后，文中指出，基于雙數(shù)組T