山東大學(xué)校園網(wǎng)搜索引擎的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、隨著山東大學(xué)的不斷發(fā)展，學(xué)校越來(lái)越重視校園信息化建設(shè)，并迅速步入了信息化高速發(fā)展的階段。在這個(gè)過(guò)程中，校園網(wǎng)不斷地完善，為我校師生提供了一個(gè)良好的信息化教學(xué)、管理、科研和信息發(fā)布等的交流平臺(tái)，校園網(wǎng)內(nèi)的信息內(nèi)容正在以驚人的速度增加著，這樣極大地方便了師生的工作、學(xué)習(xí)和生活。但同時(shí)，校園網(wǎng)內(nèi)信息量的急速增長(zhǎng)，也使得全校師生迅速獲取到有價(jià)值的信息變得越來(lái)越困難。如何更全面、更準(zhǔn)確地獲取最新、最有效的信息已經(jīng)成為滿足當(dāng)前校園網(wǎng)用戶要求的當(dāng)務(wù)之

2、急。目前互聯(lián)網(wǎng)上雖然已經(jīng)有一些成功的通用搜索引擎，如Google、百度等，用戶通過(guò)輸入查詢信息就可以搜索到很多相關(guān)內(nèi)容的網(wǎng)頁(yè)，但是這些搜索引擎卻有著自身不可避免的一些缺點(diǎn)，通用搜索引擎無(wú)法覆蓋到所有的網(wǎng)頁(yè)，即使是全球最大的搜索引擎google也只是搜索到整個(gè)互聯(lián)網(wǎng)的不足十分之一；其次，通用搜索引擎的信息量大，信息更新很緩慢，這使得所搜索到的內(nèi)容的實(shí)時(shí)性和準(zhǔn)確性很難保證，搜索到的冗余信息也很多；此外，很多通用搜索引擎采用競(jìng)價(jià)排名的機(jī)制，這

3、樣會(huì)造成一些不公平的排序結(jié)果。以上這些顯著的缺點(diǎn)決定了通用搜索引擎，不能抓取到所有網(wǎng)頁(yè)，不能滿足不同用戶群的不同的需要。特別是對(duì)學(xué)術(shù)搜索、政府類站點(diǎn)、校園網(wǎng)的搜索來(lái)說(shuō)，一個(gè)公平的排序結(jié)果是非常重要的。為此，為了充分地整合校園網(wǎng)的信息資源，更好地滿足廣大師生對(duì)校園網(wǎng)信息的獲取和使用以及其他人對(duì)山東大學(xué)的了解，針對(duì)本校的特點(diǎn)，本文設(shè)計(jì)并實(shí)現(xiàn)了一款實(shí)用性強(qiáng)、靈活、可配置、具有良好可擴(kuò)展性的校園網(wǎng)搜索引擎。
　　 根據(jù)本人參加的山東大學(xué)

4、校園網(wǎng)信息檢索系統(tǒng)的開(kāi)發(fā)，本學(xué)位論文介紹大學(xué)校園搜索引擎的設(shè)計(jì)與開(kāi)發(fā)的原理和主要技術(shù)。本論文的主要貢獻(xiàn)為：根據(jù)山東大學(xué)自身的特點(diǎn)和網(wǎng)站的內(nèi)容，利用軟件工程的方法，給出了系統(tǒng)的功能性和非功能性的需求分析。在需求分析的基礎(chǔ)上，給出了系統(tǒng)的各功能模塊及模塊之間的關(guān)系描述。然后根據(jù)需求分析提出了系統(tǒng)的實(shí)現(xiàn)目標(biāo)和原則，并從系統(tǒng)的功能架構(gòu)和技術(shù)架構(gòu)兩個(gè)方面描述了系統(tǒng)的整體功能和總體流程。給出了搜索引擎系統(tǒng)中的網(wǎng)頁(yè)信息抓取，內(nèi)容分析、中文分詞和索引數(shù)

5、據(jù)庫(kù)建立等主要功能模塊的設(shè)計(jì)，介紹了系統(tǒng)采用的分布式存儲(chǔ)處理模式，用來(lái)處理大規(guī)模數(shù)據(jù)量。然后討論了系統(tǒng)的詳細(xì)設(shè)計(jì)。在系統(tǒng)詳細(xì)設(shè)計(jì)的基礎(chǔ)上，介紹了對(duì)系統(tǒng)的實(shí)現(xiàn)與測(cè)試。給出了采用Hadoop框架來(lái)實(shí)現(xiàn)Map Reduce分布式處理模式，來(lái)提高系統(tǒng)的并發(fā)處理能力和降低系統(tǒng)對(duì)硬件配置的要求等實(shí)現(xiàn)技術(shù)。并討論了網(wǎng)頁(yè)增量式爬取更新、分詞算法的實(shí)現(xiàn)、索引模塊及檢索模塊的實(shí)現(xiàn)。最后對(duì)系統(tǒng)進(jìn)行測(cè)試，并根據(jù)測(cè)試結(jié)果進(jìn)行了性能分析。該搜索引擎目前不僅能夠向用