基于國(guó)產(chǎn)數(shù)據(jù)庫(kù)的全文檢索技術(shù)研究與實(shí)現(xiàn).pdf

1、數(shù)據(jù)庫(kù)管理系統(tǒng)(DBMS)軟件是信息系統(tǒng)的核心，是國(guó)家戰(zhàn)略必爭(zhēng)的高新技術(shù)。實(shí)現(xiàn)信息化帶動(dòng)工業(yè)化需要自主產(chǎn)權(quán)DBMS，提高我國(guó)企業(yè)創(chuàng)新能力和市場(chǎng)競(jìng)爭(zhēng)力需要自主產(chǎn)權(quán)DBMS，國(guó)家信息安全離不開自己的DBMS，我國(guó)民族IT產(chǎn)業(yè)的發(fā)展更需要DBMS的支撐，業(yè)界對(duì)這些觀點(diǎn)已經(jīng)逐步達(dá)成了共識(shí)。 多年來，信息檢索界一直在關(guān)注文檔的存儲(chǔ)和按關(guān)鍵字高效檢索的問題。隨著WWW的出現(xiàn)以及在線保存所有的文檔成為可能，基于關(guān)鍵字的文檔檢索已成為數(shù)據(jù)庫(kù)管理

2、系統(tǒng)的重要組成部分。本文在國(guó)產(chǎn)數(shù)據(jù)庫(kù)GBase項(xiàng)目的基礎(chǔ)上，研究了中文全文檢索的相關(guān)技術(shù)，并完成了一個(gè)實(shí)驗(yàn)系統(tǒng)。 中文分詞是基于中文的全文檢索研究中一項(xiàng)重要的研究?jī)?nèi)容，用于從連續(xù)的字符流中切分出有意思的詞。對(duì)于基于詞的搜索引擎的全文系統(tǒng)，分詞速度要求較高。本文在對(duì)中文編碼體系和中文分詞算法進(jìn)行研究的基礎(chǔ)上，設(shè)計(jì)了一種高效的中文電子詞表的數(shù)據(jù)結(jié)構(gòu)，它全程支持詞的Hash查找。同時(shí)提出了一種改進(jìn)的Hash高速分詞算法，理論分析和實(shí)驗(yàn)

3、表明，優(yōu)于目前的同類算法。在引入錯(cuò)誤率的基礎(chǔ)上，進(jìn)一步提出了一種字符匹配次數(shù)為零的分詞算法，它的分詞速度更快，占用的內(nèi)存更少。 全文檢索的索引是全文檢索的核心內(nèi)容，它關(guān)系到索引的創(chuàng)建代價(jià)和檢索的速度與精度。目前最流行的索引類型是倒排文檔。本文介紹了倒排文檔的基本結(jié)構(gòu)，索引創(chuàng)建流程，相關(guān)度的計(jì)算。并對(duì)于倒排文檔的壓縮進(jìn)行研究和實(shí)現(xiàn)，取得了良好的效果。 最后，本文實(shí)現(xiàn)了一個(gè)國(guó)產(chǎn)數(shù)據(jù)庫(kù)的全文檢索試驗(yàn)系統(tǒng)，該系統(tǒng)有三個(gè)核心模塊：