基于GB18030的多語種全文檢索系統(tǒng)設計與實現(xiàn).pdf

1、隨著信息社會的不斷發(fā)展，計算機網(wǎng)絡應用的不斷深入，互聯(lián)網(wǎng)已經成為人類獲取信息的最重要途徑之一。在信息爆炸時代，人們面對的煩惱不再是信息資源的貧乏而是資源過剩甚至于泛濫。 如何在信息海洋中找到準確有用的信息已不是一個新的課題。 全文檢索技術因此應運而生。全文檢索技術是將海量的非結構化數(shù)據(jù)通過建立索引，檢索的方式來迅速搜索定位要查找的信息。 信息的內涵比較大，這里特指計算機中的文本信息。即文字語言表達的信息。當提及到

2、多語種或者多文種文字信息時，人們不禁會想到實現(xiàn)世界上所有文字的統(tǒng)一編碼Unicode。然而，自2000年我國強制性標準GB18030推行之后，理論上要實現(xiàn)多語種非Unicode不能用的論斷就此推翻。 本文對多語種全文檢索中所涉及的關鍵技術包括字符編碼、漢語分詞、索引架構、檢索算法等進行了探討和研究。為了能夠支持我國獨立研制的編碼字符集標準，實現(xiàn)在該領域計算機處理的自主權，本文提出了利用GB18030為編碼基礎來設計與實現(xiàn)全文檢索

3、系統(tǒng)。使得多語種信息處理不再依賴于Unicode，支持我國自主知識產權，也使得我國中文信息處理技術更上一個臺階。 本文主要分以下幾部分內容： 一.常用字符編碼的概述和GB18030特點的分析 二.多語種分詞技術的概述和實現(xiàn) 三.以倒排索引為基礎的Clucene架構的分析和內部代碼剖析 四.如何利用Clucene架構來擴展實現(xiàn)基于GB18030的全文檢索組件技術。 五.對基于GB18030的