大規(guī)模中文文本檢索中的高性能索引研究.pdf

1、隨著互聯(lián)網(wǎng)上信息的不斷增長(zhǎng)和日益更新，檢索系統(tǒng)，特別是中文文本檢索系統(tǒng)，正在受到人們?cè)絹碓蕉嗟年P(guān)注。索引是檢索系統(tǒng)必不可少的組成部分，是檢索系統(tǒng)提供快速查詢服務(wù)的關(guān)鍵。倒排文件是大規(guī)模檢索系統(tǒng)最常用的索引形式。然而，通常情況下，索引的構(gòu)建，即倒排文件的生成，是一個(gè)非常耗時(shí)的過程。為了適應(yīng)大規(guī)模的文本檢索任務(wù)，有必要研究加快構(gòu)建索引的手段。通過對(duì)索引過程的各個(gè)階段進(jìn)行分析，本文指出，通常的索引算法效率不高的主要原因有二：1)CPU和I/O

2、部件相互等待，使得系統(tǒng)資源的利用率不高；2)文檔分析階段是整個(gè)索引過程中的瓶頸，特別的，對(duì)中文文本而言，分詞是主要的開銷。針對(duì)第一個(gè)問題，本文在串行的索引流程中引入流水線結(jié)構(gòu)，提高了資源部件的并行程度，進(jìn)而縮短倒排文件的生成時(shí)間；在此基礎(chǔ)上，文中還比較了流水線結(jié)構(gòu)在不同參數(shù)下的性能差異。針對(duì)第二個(gè)問題，可以采用優(yōu)化的詞典結(jié)構(gòu)，以加快中文的分詞速度，從而達(dá)到減少分析階段時(shí)間開銷的目的；在比較了幾種常見的詞典結(jié)構(gòu)之后，文中指出，基于雙數(shù)組T