校園網(wǎng)搜索引擎系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、隨著校園網(wǎng)建設(shè)的迅速發(fā)展，校園網(wǎng)內(nèi)的信息內(nèi)容正在以驚人的速度增加著。如何更全面、更準(zhǔn)確地獲取最新、最有效的信息已經(jīng)成為我們把握機(jī)遇、迎接挑戰(zhàn)和獲取成功的重要條件。目前雖然已經(jīng)有了像Google、百度這樣優(yōu)秀的通用搜索引擎，但是它們并不能適用于所有的情況和需要。對(duì)學(xué)術(shù)搜索、政府類站點(diǎn)、校園網(wǎng)的搜索來說，一個(gè)公平的排序結(jié)果是非常重要的。另外，由于互聯(lián)網(wǎng)上信息量之巨，遠(yuǎn)遠(yuǎn)超出哪怕是最大的一個(gè)搜索引擎可以完全收集的能力范圍。而且原有的校園網(wǎng)搜索

2、引擎存在查準(zhǔn)率、查全率不高，升級(jí)維護(hù)困難等局限性。因此，本著整合校園網(wǎng)資源的目的，為方便廣大師生對(duì)校園網(wǎng)信息的獲取和使用以及其他人對(duì)山東大學(xué)的了解，本文設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)靈活、可配置、具有良好可擴(kuò)展性且效率較高的校園網(wǎng)搜索引擎系統(tǒng)。 本文在研究Web搜索引擎的基本原理、核心技術(shù)和處理流程的基礎(chǔ)上，結(jié)合校園網(wǎng)搜索引擎的個(gè)性化需求，搭建了山東大學(xué)校園網(wǎng)搜索引擎系統(tǒng)。不僅完成了整個(gè)搜索引擎框架的設(shè)計(jì)，而且基本上完成了所有的開發(fā)工作。

3、 本文論述了系統(tǒng)開發(fā)的背景和國內(nèi)外搜索引擎技術(shù)發(fā)展現(xiàn)狀，并詳細(xì)說明了該搜索引擎系統(tǒng)的開發(fā)過程和方法。首先從功能需求和非功能需求兩個(gè)方面對(duì)校園網(wǎng)搜索引擎的個(gè)性化需求進(jìn)行分析。然后根據(jù)需求分析提出了實(shí)現(xiàn)目標(biāo)和原則，從系統(tǒng)的功能架構(gòu)和技術(shù)架構(gòu)兩個(gè)方面描述了系統(tǒng)的整體功能和總體流程。在技術(shù)架構(gòu)設(shè)計(jì)中，自行設(shè)計(jì)了插件機(jī)制，用于提高系統(tǒng)的可擴(kuò)展性、靈活性、可維護(hù)性，并降低了設(shè)計(jì)和開發(fā)的復(fù)雜性。另外，采用Map/Reduce分布式處理模型作為存儲(chǔ)

4、和處理的基礎(chǔ)，提高系統(tǒng)的并發(fā)處理能力，降低系統(tǒng)對(duì)硬件配置的要求。在詳細(xì)設(shè)計(jì)階段，具體描述了各個(gè)功能模塊和插件機(jī)制的設(shè)計(jì)。其中，信息爬取模塊采用了廣度優(yōu)先的爬取方式，索引和檢索模塊都是基于Lucene軟件包實(shí)現(xiàn)的，所以還介紹了Lucene的相關(guān)內(nèi)容。最后對(duì)實(shí)現(xiàn)過程中遇到的重要問題提出了詳細(xì)的解決方案。系統(tǒng)實(shí)現(xiàn)部分描述了系統(tǒng)的運(yùn)行環(huán)境和實(shí)現(xiàn)界面，并重點(diǎn)敘述了實(shí)現(xiàn)過程中的幾個(gè)關(guān)鍵問題，如分詞算法的實(shí)現(xiàn)以及鏈接分析算法的實(shí)現(xiàn)等。最后對(duì)系統(tǒng)進(jìn)行測(cè)