基于數(shù)字有機(jī)體數(shù)據(jù)庫(kù)的搜索引擎的理論研究與實(shí)現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)的飛速發(fā)展，以及人類(lèi)對(duì)有用信息的需求猛烈增長(zhǎng)，搜索引擎技術(shù)在過(guò)去的十年中取得了長(zhǎng)足進(jìn)步。流行的商業(yè)引擎如雅虎和谷歌等，其搜索對(duì)象僅僅限于超文本，而沒(méi)有對(duì)其他信息資源進(jìn)行覆蓋。眾所周知，數(shù)據(jù)庫(kù)在信息的存儲(chǔ)和檢索上都具有至關(guān)重要的作用，在近幾年，針對(duì)數(shù)據(jù)庫(kù)的搜索引擎已經(jīng)成為計(jì)算機(jī)科學(xué)領(lǐng)域極富吸引力的研究方向。 本文在本實(shí)驗(yàn)室所開(kāi)發(fā)的新一代分布式數(shù)據(jù)庫(kù)系統(tǒng)--數(shù)字有機(jī)體數(shù)據(jù)庫(kù)系統(tǒng)的基礎(chǔ)上，設(shè)計(jì)并開(kāi)發(fā)了一種針對(duì)數(shù)據(jù)庫(kù)的搜索引擎

2、。數(shù)字有機(jī)體數(shù)據(jù)庫(kù)系統(tǒng)的設(shè)計(jì)目的是在由多個(gè)服務(wù)器節(jié)點(diǎn)構(gòu)成的廣域網(wǎng)絡(luò)內(nèi)，進(jìn)行數(shù)據(jù)庫(kù)的分布式存放和數(shù)據(jù)庫(kù)檢索的分布式調(diào)度?；跀?shù)字有機(jī)體數(shù)據(jù)庫(kù)的搜索引擎使用戶(hù)可以用一系列的關(guān)鍵字在多個(gè)數(shù)據(jù)庫(kù)中檢索同關(guān)鍵字相關(guān)的記錄。 基于分詞、文本分類(lèi)、信息壓縮等廣泛應(yīng)用于傳統(tǒng)搜索引擎的流行技術(shù)，本文提出了一些改進(jìn)的算法和工程方法來(lái)提高數(shù)據(jù)庫(kù)搜索引擎的性能表現(xiàn)。本文重點(diǎn)突出了其在理論和工程實(shí)現(xiàn)上對(duì)數(shù)據(jù)庫(kù)搜索引擎所做出的創(chuàng)新和改進(jìn)。其中主要的工作包括

3、： 1、大規(guī)模中文信息處理是構(gòu)建中文搜索引擎的基本環(huán)節(jié)，為了實(shí)現(xiàn)大規(guī)模中文信息處理，本文提出了一種改進(jìn)的中文分詞算法?；谇熬Y樹(shù)和動(dòng)態(tài)規(guī)劃，該算法提高了中文分詞速度，同時(shí)保持了相對(duì)較高的分詞準(zhǔn)確性。此外，該算法提供了一種靈活的機(jī)制來(lái)處理詞典未收錄的詞匯，比如人名、地名、機(jī)構(gòu)名稱(chēng)等。 2、傳統(tǒng)的基于支持向量機(jī)的文本分類(lèi)器需要大量的人工標(biāo)注的訓(xùn)練文本，既包括正類(lèi)訓(xùn)練文本也包括負(fù)類(lèi)訓(xùn)練文本。為了解決負(fù)類(lèi)訓(xùn)練文本缺乏的問(wèn)題，本文