基于MongoDB的分布式搜索引擎技術(shù)研究.pdf

1、Internet上的信息量呈現(xiàn)著爆炸性的增長態(tài)勢。人們面對海量信息并需要從中尋找到自己所要的資源時，搜索引擎已經(jīng)成了最有效的方式。搜索引擎通過某種策略搜集信息，并對信息加以組織和整理，為客戶提供檢索服務(wù)。搜索引擎技術(shù)一直是學(xué)術(shù)界研究的熱點之一。
　　搜索引擎本身涉及了廣泛的知識面，本文通過對搜索引擎的幾個關(guān)鍵技術(shù)進行梳理和研究，對搜索引擎的背景、發(fā)展歷史做了介紹，對抓取技術(shù)，中文分詞算法以及網(wǎng)頁索引技術(shù)做了進一步的分析和探討，主要

2、完成以下工作內(nèi)容:
　　研究并實現(xiàn)了基于MongoDB的分布式抓取技術(shù)?？紤]到搜索引擎涉及到大規(guī)模的數(shù)據(jù)量，為了提高系統(tǒng)的性能，必須采用分布式技術(shù)。本文結(jié)合了MongoDB數(shù)據(jù)庫優(yōu)越的自動負載平衡機制以及它對海量非結(jié)構(gòu)化數(shù)據(jù)的支持，研究并實現(xiàn)了基于MongoDB數(shù)據(jù)庫的分布式抓取器，通過多個抓取服務(wù)器的協(xié)同合作，抓取工作性能穩(wěn)定且表現(xiàn)優(yōu)越。
　　研究并實現(xiàn)了基于改進詞典機制的全切分中文分詞算法，主要從效率和準(zhǔn)確性上對中文分詞