移動互聯(lián)網(wǎng)信息集成和位置檢索的關(guān)鍵技術(shù)研究與應(yīng)用.pdf

1、隨著移動互聯(lián)網(wǎng)快速發(fā)展，人人都可以通過高速網(wǎng)絡(luò)在智能手機端獲取互聯(lián)網(wǎng)信息，而移動互聯(lián)網(wǎng)搜索便是日常人們獲取信息的主要方式之一。移動搜索有其自身的特點，由于智能手機自身的局限性如屏幕小、計算能力弱等，所以在面向海量的結(jié)果集中往往難以準(zhǔn)確地定位到精確、個性化的結(jié)果。位置服務(wù)是在GIS平臺的支持下為用戶提供準(zhǔn)確的地理位置服務(wù)。當(dāng)前很多相關(guān)的行業(yè)如社交、生活等應(yīng)用中，都包含有類似“附近搜索”的功能，為用戶提供精確服務(wù)。特定的行業(yè)結(jié)合附近搜索功能

2、，就是垂直型位置搜索服務(wù)。垂直型的位置檢索服務(wù)主要整合行業(yè)領(lǐng)域的關(guān)聯(lián)資源，通過搜索可以為用戶提供更加個性化的信息服務(wù)。
　　本文基于開源企業(yè)級全文檢索引擎Solr實現(xiàn)了位置服務(wù)檢索系統(tǒng)。首先基于網(wǎng)絡(luò)爬蟲技術(shù)設(shè)計并實現(xiàn)了信息集成子系統(tǒng)。該子系統(tǒng)主要研究并實現(xiàn)了任務(wù)調(diào)度、URL去重、析取以及存儲四個方面的關(guān)鍵技術(shù)。任務(wù)調(diào)度模塊重點研究了深度優(yōu)先的URL調(diào)度策略算法；URL去重模塊則研究分析并實現(xiàn)了Bloom Filter去重算法；析取

3、模塊主要利用了pyquery解析HTML網(wǎng)頁，以及研究分析網(wǎng)絡(luò)爬蟲過程中偽代理、反防盜鏈等技術(shù)；存儲模塊則主要為MySQL數(shù)據(jù)庫存取接口的設(shè)計與實現(xiàn)。其次，基于Solr設(shè)計并實現(xiàn)了移動互聯(lián)網(wǎng)位置檢索子系統(tǒng)，其中主要包括了空間索引、索引創(chuàng)建、搜索、緩存和分布式五個方面。空間索引主要研究分析了GeoHas h和Cartesian Tiers分層算法原理，重點探討了GeoHash算法編碼；索引模塊則主要實現(xiàn)了smartcn、IKAnalyze

4、r和Ansj三種比較高效的中文分詞算法；搜索模塊主要研究如何構(gòu)建查詢語句；緩存則著重研究分析了Solr中filterQueryCache、documentCache和queryResultCache三種緩存原理以及實現(xiàn)；分布式主要研究分析了Solr分布式索引和查詢的原理并且實現(xiàn)了3個節(jié)點的分布式集群，提高了系統(tǒng)的可靠性和性能。最后，針對不同功能模塊分別作了相應(yīng)的功能測試，并利用So lrM eter和Ga nglia對系統(tǒng)做了性能的測試