電子信息垂直搜索引擎的研究與實(shí)現(xiàn).pdf

1、在互聯(lián)網(wǎng)高速發(fā)展的今天，網(wǎng)絡(luò)信息呈指數(shù)增長(zhǎng)，搜索引擎在互聯(lián)網(wǎng)的應(yīng)用中一直占據(jù)著主要的地位。但是通用搜索引擎給人們帶來(lái)便利的同時(shí)，也給人們帶來(lái)了檢索上的煩勞。具體表現(xiàn)為：檢索返回的信息量十分龐大，用戶需要花大量的時(shí)間在這些繁雜的信息中尋找到自己感興趣的信息；通用搜索引擎并沒(méi)有考慮到用戶專(zhuān)業(yè)知識(shí)需求，無(wú)差別的返回檢索結(jié)果，將造成檢索過(guò)程的不便。
　　垂直搜索引擎作為未來(lái)搜索引擎的一個(gè)發(fā)展趨勢(shì)，專(zhuān)注于某一個(gè)領(lǐng)域的搜索，在現(xiàn)代行業(yè)分工以及

2、社會(huì)分工的逐漸細(xì)化的情況下，發(fā)揮著重要作用。用戶對(duì)某一個(gè)專(zhuān)業(yè)信息有著很強(qiáng)的需求，垂直搜索引擎就是為了解決某（這）類(lèi)專(zhuān)業(yè)信息檢索的問(wèn)題，其主要通過(guò)主題爬蟲(chóng)技術(shù)等，使得垂直搜索引擎在解決某些專(zhuān)業(yè)問(wèn)題的時(shí)候比通用搜索引擎更加實(shí)用。
　　本文在介紹了搜索引擎和垂直搜索引擎的基礎(chǔ)上，重點(diǎn)分析研究了heritrix網(wǎng)絡(luò)爬蟲(chóng)，通過(guò)定制heritrix爬蟲(chóng)達(dá)到了主題網(wǎng)絡(luò)信息的抓取、通過(guò)引入ELFHash算法，使得heritrix能夠多線程抓取網(wǎng)頁(yè)

3、、通過(guò)消除對(duì)robots.txt的限制加快heritrix的抓取速率。
　　本文采用lucene來(lái)建立索引和檢索，在分析研究lucene基本框架結(jié)構(gòu)的基礎(chǔ)上，對(duì)lucene自帶的中分分詞和排序做了修改。在針對(duì)電子信息搜索引擎需求下，設(shè)計(jì)出基于電子信息專(zhuān)業(yè)詞典和統(tǒng)計(jì)結(jié)合的中文分詞算法和修改了lucene的自帶排序算法，使得檢索的結(jié)果更加符合用戶的需求。除此文章還對(duì)下載的網(wǎng)頁(yè)信息做了內(nèi)容的分析處理，以便lucene能夠建立索引。