基于Lucene的二手汽車交易信息垂直搜索引擎的研究與實現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)的飛速發(fā)展，網(wǎng)絡上的資源呈爆發(fā)性增長狀態(tài)。為了在互聯(lián)網(wǎng)上檢索海量數(shù)據(jù)，各種通用搜索引擎應運而生。但通用搜索引擎也存在不足，主要表現(xiàn)是它返回的結(jié)果并未根據(jù)用戶的特點和領(lǐng)域進行優(yōu)化，無法精確結(jié)構(gòu)化數(shù)據(jù)。垂直搜索引擎的出現(xiàn)改變了上述情況，它是搜索引擎的細分和延伸。垂直搜索引擎專注于某一特定領(lǐng)域，將網(wǎng)頁中的非結(jié)構(gòu)化數(shù)據(jù)進行結(jié)構(gòu)化抽取，并將數(shù)據(jù)進行合并和索引處理，形成結(jié)構(gòu)化的數(shù)據(jù)，提高精確檢索的準確率。
　　 當前互聯(lián)網(wǎng)上有很多

2、二手汽車交易網(wǎng)站，但這些網(wǎng)站比較分散，用戶要獲取完整精確的二手汽車交易信息比較困難。為了解決以上問題，在剖析了Lucene的相關(guān)技術(shù)基礎(chǔ)上，本論文提出了相應的解決方法及系統(tǒng)架構(gòu)，設(shè)計并實現(xiàn)了“基于Lucene的二手汽車交易信息垂直搜索引擎”。
　　 本文完成的主要工作如下：
　　 ①介紹了本文的選題背景及國內(nèi)外的研究現(xiàn)狀，比較了垂直搜索引擎與通用搜索引擎的異同之處。
　　 ②研究了搜索引擎的經(jīng)典算法，包括Page

3、Rank算法，HITS算法，給出了Spider抓取任務劃分和防止系統(tǒng)“主題漂移”的方案。
　　 ③對隱藏網(wǎng)頁查詢接口進行了分析，實現(xiàn)了隱藏網(wǎng)頁的抓取。
　　 ④對多種結(jié)構(gòu)的網(wǎng)站進行了格式劃分，按照分類給出了不同格式網(wǎng)站的抓取算法；并基于正則表達式，實現(xiàn)了二手汽車交易信息結(jié)構(gòu)化的抽取；同時還討論了系統(tǒng)數(shù)據(jù)進行增量更新的多種機制。
　　 ⑤對開源全文索引庫Lucene進行了研究，對Lucene的倒排序索引方法、索引建