基于大數(shù)據(jù)平臺(tái)的百度式數(shù)據(jù)檢索系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn).pdf

1、21世紀(jì)毫無疑問是互聯(lián)網(wǎng)時(shí)代，如今互聯(lián)網(wǎng)中的信息每天都在爆炸式的增長，面對(duì)海量數(shù)據(jù)的存儲(chǔ)和分析，傳統(tǒng)的集中式搜索引擎顯得拙荊見肘。因此人們提出了分布式搜索引擎的策略。分布式文件系統(tǒng)基于云計(jì)算可以合理的利用硬件資源，進(jìn)行高效的并行檢索?；ヂ?lián)網(wǎng)每天產(chǎn)生的海量數(shù)據(jù)都是寶貴的財(cái)富，但是沒有搜索引擎它們只是一堆雜亂的數(shù)據(jù)，需要耗費(fèi)大量的人力去挖掘。傳統(tǒng)的搜索引擎都是采用關(guān)鍵字匹配查詢，無法揣測(cè)人們的意圖，使得用戶很難精準(zhǔn)的獲得自己想要的信息，因此

2、搜索引擎的分布式智能化是未來發(fā)展的趨勢(shì)。
　　對(duì)于企業(yè)來說一個(gè)數(shù)十萬員工的企業(yè)，分支機(jī)構(gòu)分布在世界各地，需要在企業(yè)內(nèi)部門戶上提供面向全體員工的統(tǒng)一搜索服務(wù)，搜索的內(nèi)容包括企業(yè)內(nèi)應(yīng)用所產(chǎn)生的業(yè)務(wù)數(shù)據(jù)以及企業(yè)員工相關(guān)信息。大部分企業(yè)不能充分發(fā)掘自身數(shù)據(jù)的價(jià)值,比如說現(xiàn)在企業(yè)數(shù)據(jù)中大多數(shù)是非結(jié)構(gòu)化數(shù)據(jù)，這其中包括了Word文檔，Excel表格，PDF文件，掃描圖片，電子郵件，電話記錄、語音留言、紙質(zhì)文檔、照片、網(wǎng)頁、視頻以及其他形式的內(nèi)

3、容。由于很多企業(yè)缺乏能夠理解并有效利用這些內(nèi)容的技術(shù)，使得非常有價(jià)值又充滿戰(zhàn)略意義的資源常常無法發(fā)揮其作用。企業(yè)數(shù)據(jù)多且雜缺少統(tǒng)一管理平臺(tái)，業(yè)務(wù)人員缺乏技術(shù)支持，對(duì)底層數(shù)據(jù)結(jié)構(gòu)不熟悉只能通過技術(shù)人員提數(shù)，效率很低。那么一款基于自然語言的智能云搜索系統(tǒng)對(duì)于企業(yè)的價(jià)值是不可估量的。
　　本系統(tǒng)基于大數(shù)據(jù)平臺(tái)通過新建移動(dòng)行業(yè)專業(yè)術(shù)語詞庫、自學(xué)習(xí)的動(dòng)態(tài)語義網(wǎng)解析模型，采用Lucene/Solr分詞服務(wù)器，實(shí)現(xiàn)了使用人員可以輸入自然語言檢索

4、經(jīng)分?jǐn)?shù)據(jù)。通過動(dòng)態(tài)語義網(wǎng)語義解析模型，系統(tǒng)可自動(dòng)收集、分析、豐富詞條語義，持續(xù)完善“自然語言與技術(shù)語言”對(duì)應(yīng)詞庫。利用元數(shù)據(jù)配置庫和統(tǒng)一計(jì)算框架實(shí)現(xiàn)異構(gòu)數(shù)據(jù)訪問，融合文件、傳統(tǒng)數(shù)據(jù)庫、XML、MPP和HADOOP等結(jié)構(gòu)化/非結(jié)構(gòu)化的多種類型平臺(tái)數(shù)據(jù)，信息查詢服務(wù)由平臺(tái)統(tǒng)一提供；利用智能任務(wù)協(xié)同，實(shí)現(xiàn)查詢分布式處理，快速響應(yīng)信息查詢服務(wù)。系統(tǒng)還通過利用Spark Streaming流處理技術(shù)，采用內(nèi)存索引方式，建立后臺(tái)數(shù)據(jù)的增量索引更新機(jī)