理論科研成果垂直搜索引擎的研究與實現(xiàn).pdf

1、信息技術(shù)的進步引起數(shù)據(jù)的海量增長，海量的信息數(shù)據(jù)分布在全球各個服務(wù)器上，且每時每刻都在迅速增長、更新，分散的信息數(shù)據(jù)難以統(tǒng)一管理。海量的信息數(shù)據(jù)為互聯(lián)網(wǎng)用戶提供豐富信息的同時，也使得人們獲取自己所需的信息變得困難，獲取準確的信息就好比大海撈針。雖然有Google，Bing，百度等這些優(yōu)秀的搜索引擎，但由于互聯(lián)網(wǎng)上數(shù)據(jù)量龐大，搜索引擎不能夠收集全部的信息網(wǎng)頁，不能及時維護和更新不能有效的理解用戶查詢需求，查詢返回結(jié)果的準確率不高、時效性不

2、強、重復(fù)率偏高。因此，用戶對搜索引擎技術(shù)提出了新的需求，搜索引擎系統(tǒng)必須能夠提供給用戶更及時、更詳細、更準確、更深層次的的信息，于是垂直搜索引擎技術(shù)應(yīng)運而生。
　　本文研究并實現(xiàn)了一個面向理論科研成果的垂直搜索引擎，針對特定期刊論文網(wǎng)站，具體而言針對理論科研成果網(wǎng)站的垂直專業(yè)搜索引擎，在研究了垂直搜索引擎技術(shù)的基本原理、核心爬蟲技術(shù)和網(wǎng)頁爬取處理流程的基礎(chǔ)上，設(shè)計并實現(xiàn)了理論科研成果垂直搜索引擎的信息采集模塊、爬蟲爬行模塊、信息索