基于Nutch和Solr的企業(yè)級(jí)搜索引擎的研究與實(shí)現(xiàn).pdf

1、企業(yè)級(jí)搜索引擎是一個(gè)主要針對(duì)企業(yè)內(nèi)部各網(wǎng)站和web系統(tǒng)的搜索引擎系統(tǒng),由于企業(yè)內(nèi)部信息不僅分布在網(wǎng)站上,很多非常重要的信息分布廣泛,例如數(shù)據(jù)庫(kù)、文件系統(tǒng)或者是內(nèi)容資料庫(kù)中,且以不同的格式存在并按照不同的分類組織,受不同的安全機(jī)制控制。對(duì)于最終使用內(nèi)容的用戶,只是希望通過(guò)簡(jiǎn)單的搜索命令字,然后系統(tǒng)自動(dòng)從系統(tǒng)所建立的索引或者緩存中搜索到相應(yīng)的內(nèi)容反饋給用戶,這樣可以實(shí)現(xiàn)信息的簡(jiǎn)單快速訪問(wèn)。因而企業(yè)信息搜索系統(tǒng)應(yīng)運(yùn)而生。
　　本文提出了

2、集成Nutch和Solr的企業(yè)級(jí)分布式搜索引擎的設(shè)計(jì)方案。本方案中,Nutch主要負(fù)責(zé)對(duì)網(wǎng)頁(yè)內(nèi)容的抓取、提取和解析,對(duì)于企業(yè)內(nèi)部的文檔類信息,則設(shè)計(jì)了專用的文檔采集器對(duì)其進(jìn)行采集解析等。而 Solr作為搜索后端,使用Zookeeper作為集群配置信息的管理,這樣充分利用了Solr Server的拼寫檢查、搜索提醒和查詢緩存等功能,實(shí)現(xiàn)了企業(yè)系統(tǒng)內(nèi)部的分布式搜索功能。本方案還引入IKAnalyzer來(lái)增強(qiáng)系統(tǒng)的中文分詞能力并實(shí)現(xiàn)了對(duì)用戶搜