基于Lucene的產(chǎn)品比價搜索系統(tǒng)的研究與設(shè)計.pdf

1、互聯(lián)網(wǎng)近年來呈現(xiàn)蓬勃發(fā)展趨勢，網(wǎng)上的信息量每日呈爆炸式的增長。信息海量增長的同時，百度，谷歌等通用搜索引擎已經(jīng)無法滿足人們對特定領(lǐng)域的搜索需求。為此，針對特定領(lǐng)域的垂直搜索技術(shù)，已經(jīng)成為了國內(nèi)外研究的熱點，垂直搜索引擎由此而誕生。
　　 國內(nèi)外已有許多成功投入商用的垂直搜索網(wǎng)站。這些網(wǎng)站的運營成功，又反過來促進(jìn)垂直搜索技術(shù)的研究進(jìn)步。比如國內(nèi)的以旅游為搜索主題的“去哪兒網(wǎng)”，以及新浪，騰訊等門戶網(wǎng)站中的以數(shù)碼為主題的網(wǎng)頁分欄里，

2、都是用戶訪問較多的網(wǎng)站。但是，當(dāng)用戶在這些網(wǎng)站中輸入了錯別字時，卻反饋不了用戶想要的搜索結(jié)果。為此，如何正確理解用戶的輸入意圖，也成為了垂直搜索引擎研究的重點內(nèi)容之一。
　　 本文研究并實現(xiàn)一個垂直搜索引擎，基于Lucene的產(chǎn)品比價搜索系統(tǒng)。具體的研究內(nèi)容有:
　　 (1)分析了垂直搜索引擎特征及其關(guān)鍵技術(shù)，明確了論文的研究主題。
　　 (2)詳細(xì)分析了實現(xiàn)產(chǎn)品比價搜索系統(tǒng)的各項關(guān)鍵技術(shù)，對網(wǎng)絡(luò)爬蟲，頁面解析技

3、術(shù)，以及對實現(xiàn)索引和搜索兩個功能的Lucene的開源API進(jìn)行了分析。
　　 (3)對中文搜索中的難點內(nèi)容，中文分詞技術(shù)進(jìn)行了研究，介紹了基于最大正向匹配和基于統(tǒng)計的兩種常用的中文分詞算法，并針對最大正向匹配算法的不足，提出了一種改進(jìn)的方法，該方法保留了傳統(tǒng)正向匹配算法的優(yōu)點，結(jié)合了詞頻統(tǒng)計。并通過三組實驗來驗證改進(jìn)后算法，在分詞精度上得到了提高。
　　 (4)對拼寫檢查技術(shù)進(jìn)行研究，將計算最長公共子串(LCS)的方法添

4、加到比價搜索系統(tǒng)的后臺檢索模塊中，即當(dāng)用戶輸入錯別字時，系統(tǒng)能夠進(jìn)行糾錯，并返回用戶想要搜索的內(nèi)容。使得系統(tǒng)能夠正確理解用戶的輸入意圖，具有一定的容錯功能。
　　 本文對構(gòu)建垂直搜索引擎的各個模塊進(jìn)行詳細(xì)的分析，使用開源的網(wǎng)絡(luò)爬蟲技術(shù)來抓取指定的網(wǎng)頁，并使用頁面解析技術(shù)，將抓取的網(wǎng)頁解析成文本格式。用Lucene提供的API對這些文本進(jìn)行索引和搜索，并使用本文提出的改進(jìn)中文分詞代替Lucene中自帶的中文分詞器，以及將LCS技術(shù)