基于Nutch的農(nóng)村信息服務(wù)移動(dòng)搜索引擎研究.pdf

1、隨著4G和大數(shù)據(jù)時(shí)代到來(lái)，網(wǎng)絡(luò)資源的爆炸式增長(zhǎng)。針對(duì)農(nóng)村信息服務(wù)領(lǐng)域的快速發(fā)展，結(jié)合智能移動(dòng)設(shè)備的優(yōu)勢(shì)，提供一個(gè)具有主題相關(guān)性、本地相近性以及高準(zhǔn)確率的移動(dòng)搜索引擎，是涉農(nóng)網(wǎng)站應(yīng)該具備的主要功能，方便農(nóng)戶快捷、精準(zhǔn)的搜索到所需信息，它可以提高農(nóng)戶搜索體驗(yàn)感，推進(jìn)農(nóng)村信息化建設(shè)，完善農(nóng)業(yè)服務(wù)體系。農(nóng)村信息服務(wù)移動(dòng)搜索引擎技術(shù)是提高農(nóng)村服務(wù)信息獲取精準(zhǔn)性、增強(qiáng)農(nóng)戶搜索體驗(yàn)感的關(guān)鍵性技術(shù)，是當(dāng)前農(nóng)村信息服務(wù)領(lǐng)域的研究重點(diǎn)和熱點(diǎn)。
　　農(nóng)

2、村信息服務(wù)移動(dòng)搜索引擎技術(shù)是圍繞農(nóng)村信息服務(wù)領(lǐng)域的移動(dòng)搜索技術(shù)。在Nutch引擎技術(shù)基礎(chǔ)上，圍繞農(nóng)村信息服務(wù)主題，利用向量空間模型(Vector Space Model)算法，實(shí)現(xiàn)網(wǎng)頁(yè)中農(nóng)村信息服務(wù)主題過(guò)濾，同時(shí)結(jié)合國(guó)家地名詞典，完成網(wǎng)頁(yè)中空間位置信息的提??；在研究面向集合的文本搜索倒排文件(Inverted File)索引技術(shù)和面向二維空間的R-tree索引技術(shù)的基礎(chǔ)上，構(gòu)建先倒排文件后R-tree混合索引模型，即IR混合索引，實(shí)現(xiàn)農(nóng)

3、村信息服務(wù)移動(dòng)搜索的索引功能；在研究Lucene排序算法理論基礎(chǔ)上，綜合考慮地理空間位置因素和 Web內(nèi)容相關(guān)性因素，改進(jìn)排序算法，對(duì)搜索結(jié)果進(jìn)行有效的優(yōu)化，展現(xiàn)地理位置相近性和搜索主題相關(guān)性的排序結(jié)果；圍繞農(nóng)村信息服務(wù)領(lǐng)域，用戶利用移動(dòng)設(shè)備，能夠更便捷、更快速、更有效的實(shí)現(xiàn)基于位置和關(guān)鍵字雙重檢索。論文研究主要內(nèi)容如下：
　　首先，研究構(gòu)建基于Nutch的農(nóng)村信息服務(wù)移動(dòng)搜索引擎系統(tǒng)整體框架。在重點(diǎn)研究傳統(tǒng)搜索引擎的工作原理與關(guān)

4、鍵技術(shù)基礎(chǔ)上，利用開(kāi)源搜索引擎Nutch，提出改進(jìn)的基于Nutch的農(nóng)村信息服務(wù)移動(dòng)搜索引擎系統(tǒng)設(shè)計(jì)，并概括介紹系統(tǒng)各個(gè)模塊的設(shè)計(jì)以及優(yōu)化方案；
　　其次，研究設(shè)計(jì)農(nóng)村信息服務(wù)移動(dòng)搜索引擎網(wǎng)頁(yè)采集功能模塊。本模塊主要研究農(nóng)村信息服務(wù)主題過(guò)濾模型和 Web網(wǎng)頁(yè)地理位置信息獲取算法。農(nóng)村信息服務(wù)主題過(guò)濾模型通過(guò)人工選擇獲得農(nóng)村信息服務(wù)主題相關(guān)的初始 URL，利用中文分詞系統(tǒng)構(gòu)建主題詞庫(kù)，并根據(jù)VSM算法，判別抓取網(wǎng)頁(yè)與主題詞庫(kù)之間的主

5、題相關(guān)度，實(shí)現(xiàn)圍繞農(nóng)村信息服務(wù)主題的網(wǎng)頁(yè)抓取和過(guò)濾；Web網(wǎng)頁(yè)地理位置信息獲取通過(guò)結(jié)合國(guó)家地名詞典，利用地名識(shí)別、地名分辨、地理聚焦點(diǎn)確定三個(gè)過(guò)程來(lái)最終實(shí)現(xiàn)；
　　再次，研究設(shè)計(jì)農(nóng)村信息服務(wù)移動(dòng)搜索索引功能模塊。為實(shí)現(xiàn)基于Nutch的農(nóng)村信息服務(wù)移動(dòng)搜索引擎同時(shí)具有文本檢索能力和空間位置信息檢索功能，本文在研究面向集合的文本搜索倒排文件索引技術(shù)和面向二維空間的R-tree索引技術(shù)的基礎(chǔ)上，構(gòu)建先倒排文件后R-tree混合索引模型，

6、為農(nóng)村信息服務(wù)移動(dòng)搜索具有高效檢索能力提供技術(shù)保障；
　　最后，研究設(shè)計(jì)農(nóng)村信息服務(wù)移動(dòng)搜索排序功能模塊。根據(jù)移動(dòng)搜索環(huán)境中信息的文本相關(guān)性和距離相近性，在Nutch評(píng)分排序算法的基礎(chǔ)上，提出基于位置感知的top-k文本檢索(LkT)查詢排序,分別對(duì)搜索關(guān)鍵詞與抓取網(wǎng)頁(yè)之間的文本相關(guān)性因素，以及查詢地點(diǎn)與網(wǎng)頁(yè)地理聚焦點(diǎn)之間的距離相近性因素進(jìn)行歸一化處理，并且根據(jù)權(quán)重進(jìn)行線性合并，設(shè)計(jì)農(nóng)村信息服務(wù)移動(dòng)搜索排序模塊，實(shí)現(xiàn)優(yōu)先排序出本地