基于Heritrix和Lucene構建的垂直搜索引擎的研究與實現(xiàn).pdf

1、隨著社會的高速發(fā)展,人們生活水平的不斷提高。筆記本電腦正逐步走進千家萬戶的家中,成為人們工作、生活、娛樂不可或缺的重要組成部分。然而,在人們購買筆記本電腦之前,往往只能通過店面營銷人員的介紹、講解,才對筆記本有一個大致的了解。而且大多數人記不住筆記本的各項參數；除此以外,通過搜索引擎查詢某個品牌,得到的反饋信息,與自己的期望相差甚遠。所以,人們十分迫切需要一個能夠提供筆記本電腦各項性能參數的平臺。
　　 本文通過學習開源蜘蛛程序

2、Heritrix和開源全文檢索框架Lucene,依靠MyEclipse開發(fā)工具,為人們搭建了這個平臺。Heritrix以其強大的抓取數據能力,正逐漸成為專業(yè)爬蟲軟件的首選,但由于Heritrix配置復雜,所以本文詳細講述了如何實現(xiàn)抓取網頁數據,如何擴展Heritrix的各項功能組件,以實現(xiàn)對特定網站數據的抓??；為提高Heritrix的工作效率,本文還對Heritrix原有功能組件作了擴展,使其以多線程方式抓取網頁數據,極大地提高了下載的

3、效率。此外,本文通過對Lucene的研究,實現(xiàn)了品牌檢索的功能,不僅如此,本文還考慮了Lucene基礎排序算法在本系統(tǒng)中應用的不足,對其改進,改進算法時,借鑒了PageRank算法的思想,認真考慮了網頁間的鏈接關系應該對網頁間排序有很大的影響,并綜合考慮了網頁內容和網頁間鏈接關系對結果頁面排序的影響。最后,給出了改進后的排序公式并設置了合適的權重因子,實現(xiàn)了綜合排序的功能,從而使改進后的排序更加客觀、更加真實。
　　 文章最后利