基于MongoDB的非結(jié)構(gòu)化數(shù)據(jù)管理的研究與應(yīng)用.pdf

1、隨著大數(shù)據(jù)技術(shù)的不斷發(fā)展，互聯(lián)網(wǎng)數(shù)據(jù)的主流逐漸從結(jié)構(gòu)化數(shù)據(jù)轉(zhuǎn)變?yōu)榉墙Y(jié)構(gòu)化數(shù)據(jù)，然而非結(jié)構(gòu)化數(shù)據(jù)具有種類繁多、規(guī)模巨大且難以標(biāo)準(zhǔn)化的特點(diǎn)，管理相當(dāng)困難。運(yùn)用大數(shù)據(jù)技術(shù)實(shí)現(xiàn)高效的非結(jié)構(gòu)化數(shù)據(jù)管理是重要的研究方向。因此，有了本論文的研究內(nèi)容。本文主要研究內(nèi)容分為三部分：MongoDB、非結(jié)構(gòu)化數(shù)據(jù)管理，及MongoDB應(yīng)用于非結(jié)構(gòu)化數(shù)據(jù)管理。設(shè)計(jì)并實(shí)現(xiàn)基于MongoDB，結(jié)合其他大數(shù)據(jù)技術(shù)的非結(jié)構(gòu)化數(shù)據(jù)管理系統(tǒng)是康賽公司共享數(shù)據(jù)中心的升級(jí)項(xiàng)目

2、，是本文應(yīng)用的主要體現(xiàn)。
　　首先，本文對(duì)選題的背景、來源、研究內(nèi)容及貢獻(xiàn)、NoSQL數(shù)據(jù)庫研究現(xiàn)狀做介紹，總結(jié)非結(jié)構(gòu)化數(shù)據(jù)管理的研究方向，介紹每個(gè)方向上的研究現(xiàn)狀。在此基礎(chǔ)上，通過自己的總結(jié)和分析對(duì)非結(jié)構(gòu)化數(shù)據(jù)管理的總體架構(gòu)進(jìn)行介紹，并對(duì)各模塊的關(guān)鍵技術(shù)進(jìn)行深入研究，為本文的研究、設(shè)計(jì)與實(shí)現(xiàn)工作打下基礎(chǔ)。
　　然后，本文詳細(xì)介紹系統(tǒng)的研究與設(shè)計(jì)工作。通過研究MongoDB、HDFS及關(guān)系數(shù)據(jù)庫的特性，確定MongoDB存元

3、數(shù)據(jù)和小文件，HDFS存大文件的存儲(chǔ)方案。接著，通過分析生產(chǎn)環(huán)境下數(shù)據(jù)采集模塊的實(shí)際應(yīng)用，設(shè)計(jì)基于Zookeeper和負(fù)載權(quán)值的數(shù)據(jù)采集協(xié)調(diào)器。通過研究MongoDB全文索引的不足，設(shè)計(jì)基于MongoDB+ElasticSearch的數(shù)據(jù)寫入與數(shù)據(jù)讀取分離的檢索功能并提出一種MongoDB的分頁優(yōu)化方法。隨后，通過研究信息孤島和信息整合，設(shè)計(jì)應(yīng)用服務(wù)接口。通過分析大數(shù)據(jù)量下查詢與計(jì)算的問題，設(shè)計(jì)基于MongoDB的查詢與計(jì)算分離的統(tǒng)計(jì)分

4、析功能。通過研究MongoDB自動(dòng)分片和副本集，設(shè)計(jì)系統(tǒng)擴(kuò)展性和高可用性，同時(shí)提出一種基于增刪改查頻率的MongoDB數(shù)據(jù)塊遷移方法。緊接著，介紹系統(tǒng)應(yīng)用層數(shù)據(jù)庫的設(shè)計(jì)，通過用戶權(quán)限表實(shí)現(xiàn)用戶級(jí)的數(shù)據(jù)共享。
　　最后，本文詳細(xì)介紹系統(tǒng)的實(shí)現(xiàn)工作。按照系統(tǒng)性能設(shè)計(jì)，進(jìn)行MongoDB的物理部署。結(jié)合HttpClient和poi實(shí)現(xiàn)主動(dòng)采集功能，提供一種根據(jù)文件流的特定字節(jié)標(biāo)識(shí)判斷文件類型的方法。通過研究數(shù)據(jù)采集時(shí)的用戶體驗(yàn)度問題，提