領(lǐng)域搜索引擎語義檢索模型的設(shè)計與實現(xiàn).pdf

1、面對網(wǎng)絡(luò)上海量的信息，搜索引擎已經(jīng)成為我們獲取網(wǎng)絡(luò)信息的主要入口。目前的搜索引擎主要采用基于關(guān)鍵詞的匹配來獲取Web上的相關(guān)信息。但是，一方面Web上信息的巨大數(shù)量及其豐富多樣的特點使得采用該方式將得到大量與需求無關(guān)的信息，另一方面，基于關(guān)鍵詞匹配的檢索無法對檢索的語意充分表達(dá)也造成了搜索引擎對用戶查詢需求的“誤解”，進(jìn)一步影響了使用搜索引擎查詢信息的準(zhǔn)確率。 評價一個搜索引擎的兩個指標(biāo)是查全率(Recall)和查準(zhǔn)率(Prec

2、ision)。而對于當(dāng)前的搜索引擎來說，面對網(wǎng)絡(luò)中海量的信息，每一次搜索所返回的信息量已經(jīng)通常都會非常的巨大，但是返回信息與用戶的期望之間的查準(zhǔn)率卻無法盡如人意。本文從可以提高這兩個指標(biāo)為目標(biāo)，以可以提高查找信息準(zhǔn)備的聚焦搜索為基礎(chǔ)，設(shè)計和實現(xiàn)了一個完整的語意檢索模型。 首先，應(yīng)用當(dāng)前的聚焦爬蟲、專業(yè)詞庫等技術(shù)，對信息有針對性的采集及過濾，從而在一定程度保證了所采集信息相關(guān)度的相對集中。 然后，利用已采集信息中較為典型的

3、數(shù)據(jù)作為分析的數(shù)據(jù)源，獲取一定語境之下詞語同現(xiàn)的基本數(shù)據(jù)，構(gòu)建同現(xiàn)二維表，并通過相應(yīng)的處理來優(yōu)化二維關(guān)系表。 在進(jìn)行信息的檢索時，主要利用相關(guān)二維表所體現(xiàn)的詞語之間的關(guān)系，從而使搜索引擎具備一定的理解能力，從語義上進(jìn)行信息的查詢，提高搜索引擎查詢的準(zhǔn)備度。 本文通過對Apache全文檢索系統(tǒng)Lucene源碼的剖析和實踐，理解Lucene的系統(tǒng)組織結(jié)構(gòu)、基本數(shù)據(jù)類型、索引內(nèi)存結(jié)構(gòu)以及索引數(shù)據(jù)庫的文件結(jié)構(gòu)；在對Lucene重