網(wǎng)絡信息采集與搜索系統(tǒng)的研究與實現(xiàn).pdf

1、互聯(lián)網(wǎng)大數(shù)據(jù)時代已經(jīng)到來，網(wǎng)絡給人們提供了豐富的信息資源。面對海量的互聯(lián)網(wǎng)信息，如何快速準確的獲取有價值的信息成為了一個難題。信息采集與檢索系統(tǒng)應用而生，但是通用的全網(wǎng)搜索引擎在信息采集時忽略了信息的主題和處理順序，致使搜索結果主題寬泛，夾雜不相關信息，需對其進行“二次處理”才能獲得有價值的信息。
　　針對這一問題本文研究了信息采集的相關技術和方法，提出了面向具體領域的站內(nèi)深度信息的采集與搜索的方法，并實現(xiàn)了信息索引的構建及動態(tài)維

2、護和優(yōu)化，提供高質(zhì)量的站內(nèi)信息搜索服務。本文所做工作概括為以下三方面：
　　1）對信息采集工具Nutch、分布式數(shù)據(jù)處理框架Hadoop的文件系統(tǒng)和MapReduce工作流程進行了研究，實現(xiàn)了Nutch的分布式信息采集，將非結構化的網(wǎng)絡信息轉(zhuǎn)變?yōu)榻Y構化的文件存儲。
　　2）通過對索引工具Lucene倒排索引的研究，為采集所得的規(guī)范化文件信息創(chuàng)建了倒排索引，為索引的查詢和進一步處理打好基礎；提出并建立了索引池模型，利用索引評估