投稿—基于mongodb的閩西客家文化數(shù)據(jù)存儲設(shè)計(jì)與分析—江穎

1、收稿日期：；修訂日期：基金項(xiàng)目：國家科技支撐項(xiàng)目(2013BAH28F00)第一作者：江穎（1990），女，碩士研究生研究方向?yàn)榈乩硇畔⒐こ?。Email:yingjiangqingzhou@通訊作者：鄔群勇（1973），男，副研究員研究方向?yàn)榈乩硇畔⑾到y(tǒng)及其應(yīng)用。Email:qywu@fzu.基于基于MongoDBMongoDB的閩西客家文化數(shù)據(jù)存儲設(shè)計(jì)與分析的閩西客家文化數(shù)據(jù)存儲設(shè)計(jì)與分析江穎，鄔群勇，唐曙光，黃君毅（福建省空間信息工

2、程研究中心，空間數(shù)據(jù)挖掘與信息共享教育部重點(diǎn)實(shí)驗(yàn)室(福州大學(xué))福州350002）摘要：針對客家文化數(shù)據(jù)類型多樣，結(jié)構(gòu)復(fù)雜的問題，探討并構(gòu)建了客家文化數(shù)據(jù)分類體系。結(jié)合客家文化數(shù)據(jù)的分類和MongoDB數(shù)據(jù)模型，設(shè)計(jì)了客家文化遺產(chǎn)數(shù)據(jù)存儲模型和客家文化基礎(chǔ)設(shè)施數(shù)據(jù)模型。探討了基于MongoDB的客家文化遺產(chǎn)數(shù)據(jù)查詢和索引的構(gòu)建方法和流程。在100MPs局域網(wǎng)內(nèi)基于CS結(jié)構(gòu)分別構(gòu)建了單機(jī)和集群測試環(huán)境，測試了不同客家文化數(shù)據(jù)單機(jī)和集群的存取

3、性能。實(shí)驗(yàn)表明，論文設(shè)計(jì)的基于MongoDB的客家文化數(shù)據(jù)模型能夠較好地實(shí)現(xiàn)類型多樣、結(jié)構(gòu)復(fù)雜的客家文化數(shù)據(jù)的管理，便于以增加節(jié)點(diǎn)的方式來提高存儲能力和讀寫性能。關(guān)鍵字：客家文化；MongoDB；數(shù)據(jù)存儲；NoSQL數(shù)據(jù)庫；分布式存儲中圖分類號：TP311文獻(xiàn)標(biāo)識碼：ATheDesignAnalysisftheStageofWesternFujianHakkaCultureDataBasedonMongoDBJIANGYing1WUQu

4、nyong1TANGShuguang2HUANGJunyi2(SpatialInfmationResearchCenterofFujianProvince，KeyLabatyofSpatialDataMiningInfmationSharingMinistryofEducation(FuzhouUniversity)Fuzhou350002)Abstract:Consideringtheenrichedtypesthecomplicat

5、estructuresofHakkaculturedataweinvestigatedeveloptherelevantdataclassificationsystem.CombiningtheHakkaculturedataclassificationsystemtheMongoDBdatamodelthestagemodelfHakkaculturalheritagedatathedatamodelfinfrastructureof

6、Hakkaculturearedeveloped.MeanwhileconstructionmethodsprocessesofqueryindexftheHakkaculturalheritagedatabasedonMongoDBarediscussed.Ina100MPsLANsinglemachineclustertestingenvironmentsbasedonCSstructureareconstructedtheread

7、writeperfmancesofdifferentHakkaculturedatainthecrespondingenvironmentsaretested.OurexperimentsshowthatthemodelbasedonMongoDBcansmoothlymanagetheenrichtypedcomplicatestructuredHakkaculturedataofwhichthestagecapacityreadwr

8、iteperfmancecanbeimprovedbyaddingnodes.Keywds:HakkacultureMongoDBdatastageNoSQLdatabasedistributedstage0引言客家是經(jīng)過兩晉、唐宋、明末以來五次較大規(guī)模的從中原地區(qū)往南方各省以及國外遷徙形成的漢族民系。閩西客家文化是南遷的中原漢族與當(dāng)?shù)亻}越族人雜居、融合中產(chǎn)生的文化[12]。如何保存這些有形無形的文化遺產(chǎn)為中華民族多元文化添彩，是一個(gè)亟

9、待解決的問題。數(shù)字化和信息化技術(shù)的發(fā)展和成熟，為文化遺產(chǎn)的保護(hù)提供了新的技術(shù)手段和思路。三維地面激光掃描、360全景攝像、衛(wèi)星和低空遙感、GPS、數(shù)字掃描、數(shù)字錄音錄像等設(shè)備和技術(shù)的應(yīng)用，采集了大量的……矢量類型的基礎(chǔ)設(shè)施數(shù)據(jù)景區(qū)交通路線商店……2基于MongoDB的客家文化遺產(chǎn)數(shù)據(jù)存儲2.1MongoDB數(shù)據(jù)模型MongoDB是面向文檔的開源數(shù)據(jù)庫。MongoDB模式靈活，支持面向文檔的查詢，可以在任何屬性上建立索引，包括建立空間索引

10、和全文索引，同時(shí)其可擴(kuò)展性強(qiáng)、支持復(fù)制和故障恢復(fù)。MongoDB的邏輯結(jié)構(gòu)與關(guān)系型數(shù)據(jù)庫相似，分為數(shù)據(jù)庫(database)、集合(collection)和文檔(document)三層。MongoDB的數(shù)據(jù)庫(database)相當(dāng)于關(guān)系型數(shù)據(jù)庫的數(shù)據(jù)庫，集合(collection)相當(dāng)于關(guān)系型數(shù)據(jù)庫的表，文檔(document)相當(dāng)于關(guān)系型數(shù)據(jù)庫的記錄。MongoDB使用類似于JSON的BSON動態(tài)地存儲數(shù)據(jù)，支持?jǐn)?shù)值、字符串、日期數(shù)

11、組等多種基本類型的數(shù)據(jù)，同時(shí)可以支持文檔嵌套文檔等多種復(fù)雜的存儲方式。2.2客家文化數(shù)據(jù)存儲模型根據(jù)以上對MongoDB的分析，MongoDB是模式自由的數(shù)據(jù)庫，同一個(gè)集合中每一條文檔都可以是不同的結(jié)構(gòu)，使用MongoDB可以很容易地更改結(jié)構(gòu)。但為了提高數(shù)據(jù)庫的可操作性，在設(shè)計(jì)數(shù)據(jù)庫時(shí)同一集合一般會使用統(tǒng)一的結(jié)構(gòu)。本文結(jié)合MongoDB和客家文化數(shù)據(jù)的分類信息，構(gòu)建了客家文化遺產(chǎn)數(shù)據(jù)庫和客家文化基礎(chǔ)設(shè)施數(shù)據(jù)庫。2.2.1客家文化遺產(chǎn)數(shù)據(jù)

12、存儲結(jié)構(gòu)客家文化遺產(chǎn)數(shù)據(jù)存儲結(jié)構(gòu)基于MongoDB的客家文化遺產(chǎn)數(shù)據(jù)庫中包含物質(zhì)文化遺產(chǎn)數(shù)據(jù)集和非物質(zhì)文化遺產(chǎn)數(shù)據(jù)集，如圖1所示。物質(zhì)文化遺產(chǎn)數(shù)據(jù)集中文檔由唯一標(biāo)識符(_id)、物質(zhì)文化遺產(chǎn)名稱(name)、所屬類別(categy)、介紹信息(info)、物質(zhì)文化遺產(chǎn)地址(address)、空間位置(location)、圖片(picture)、視頻(video)、音頻(voice)、三維模型(model)、360全景(360panama

13、)組成。其中物質(zhì)文化遺產(chǎn)名稱、類別、簡介、地址是字符串格式的，空間位置數(shù)據(jù)是GeoJSON格式的點(diǎn)要素?cái)?shù)據(jù)。圖片分兩部分存儲，縮略圖以二進(jìn)制格式存儲在文檔中，另一部分圖片與視頻、音頻、三維模型、360全景數(shù)據(jù)一起存儲在GridFS中，文檔中只記錄相應(yīng)的字符串格式的文件名數(shù)組。GridFS是MongoDB采用的分布式存儲文件的機(jī)制。非物質(zhì)文化遺產(chǎn)數(shù)據(jù)集文檔結(jié)構(gòu)與物質(zhì)文化遺產(chǎn)文檔結(jié)構(gòu)相似。非物質(zhì)文化遺產(chǎn)的空間位置(location)包含Ge