基于字節(jié)流的全文檢索技術(shù)研究與實(shí)現(xiàn).pdf

1、全文檢索是當(dāng)前信息檢索技術(shù)的重要研究方向，是從大容量文檔庫(kù)中找尋所需信息的最有效手段。實(shí)現(xiàn)全文檢索系統(tǒng)的核心是建立有效的全文檢索模型，目前全文檢索模型根據(jù)索引項(xiàng)的不同可分為基于關(guān)鍵詞的方法和基于字符的方法兩類模型，基于關(guān)鍵詞的方法檢索速度快，容易支持同義詞查詢，索引空間效率好，很多商業(yè)應(yīng)用的全文檢索模型都是使用基于關(guān)鍵詞的方法。但查準(zhǔn)率和查全率不夠高，不能支持整句或文檔片斷的查詢，對(duì)中文的處理不方便，在中文分詞方面表現(xiàn)欠佳。 近

2、年來，我國(guó)學(xué)術(shù)界提出的基于單漢字(Single Chinese Character)的全文檢索方法得到重視，本文將之?dāng)U展為能適用各種文件的基于字節(jié)流的方法。它能彌補(bǔ)基于關(guān)鍵詞檢索方法的上述缺點(diǎn)，檢索速度介于全文掃描和關(guān)鍵詞方法之間，但目前的一些檢索模型和基于關(guān)鍵詞的方法相比，性能還較低。 為了解決時(shí)空間效率的問題，本文做了下列工作： (1)分析了全文檢索技術(shù)的基本方法以及幾種常用的全文檢索模型，并對(duì)基于字節(jié)流的全文檢索技

3、術(shù)的優(yōu)勢(shì)和不足進(jìn)行了分析； (2)提出并實(shí)現(xiàn)了交叉鏈表(Cross Linked Model)CLM、倒排后繼表(Inversed Subsequence Model)ISM、相鄰地址(AdjacentAddress Model)AAM三種基于字節(jié)流的全文檢索模型。 (3)對(duì)提出的三種模型進(jìn)行了詳細(xì)的性能分析，在5963個(gè)漢字文檔數(shù)據(jù)上做了6組實(shí)驗(yàn)，通過實(shí)驗(yàn)測(cè)試和分析了各模型的特點(diǎn)、性能及其適用范圍。 (4)對(duì)比

4、分析了基于關(guān)鍵詞和基于字節(jié)流的全文檢索方法。分析了基于字節(jié)流的全文檢索方法的行性，尤其是在中文乃至非字母型文字處理上的優(yōu)越性，以及在二進(jìn)制文件檢索中有可用性。 本文組織如下； 第0章闡述了信息撿索的作用和全文撿索技術(shù)發(fā)展。第1章分析了全文撿索術(shù)的基本方法以及幾種常用的全文撿索模型。第2章對(duì)基于字節(jié)流的全文撿索技術(shù)的優(yōu)勢(shì)和不足進(jìn)行了分析。第3章提出了基于字節(jié)流的交叉鏈表全文撿索模型CLM。第4章改進(jìn)了常用的單字母排表模型，

5、提出了單字倒排后繼表模型ISM。第5章提出了基于字節(jié)流的相鄰地址全文撿索摸型AAM，以及簡(jiǎn)單相鄰地址咨詢算法SAAA和有效相鄰地址查詢算法BAAA。第6章對(duì)提出的三種全文撿索模型分別進(jìn)行了性能分析，求出三種模型的時(shí)間空間效率。第7章用基于關(guān)鍵詞檢索方法中最其代表性的倒排表模型與單字倒排表模型和試三種模型作對(duì)比進(jìn)行了一系列實(shí)驗(yàn)，得出三種模型的實(shí)用對(duì)比性能，給出了這些 模型的適用范圍，其中相鄰地址模型AAM在通常情況下要優(yōu)于其它模型，可以做