基于語義元數(shù)據(jù)的分布式存儲(chǔ)技術(shù)研究及應(yīng)用.pdf

1、隨著大數(shù)據(jù)時(shí)代的到來，數(shù)據(jù)存儲(chǔ)以及快速準(zhǔn)確獲取自己想要的信息變得越來越困難。語義網(wǎng)和Hadoop分布式平臺(tái)的出現(xiàn)能有效解決數(shù)據(jù)存儲(chǔ)及獲取數(shù)據(jù)的困境，但伴隨而來的便是大規(guī)模語義元數(shù)據(jù)的出現(xiàn)，這也使得數(shù)據(jù)的管理面臨巨大的挑戰(zhàn)，所以構(gòu)建一個(gè)實(shí)用的語義元數(shù)據(jù)分布式存儲(chǔ)系統(tǒng)對推進(jìn)大數(shù)據(jù)的分析與應(yīng)用變得愈來愈重要。
　　論文首先介紹了語義網(wǎng)與 RDF語義元數(shù)據(jù)存儲(chǔ)技術(shù)的研究背景及研究現(xiàn)狀，討論了課題研究的重要性及意義，并在此基礎(chǔ)上闡述了語義元

2、數(shù)據(jù)、資源描述框架RDF、Hadoop及HBase等相關(guān)技術(shù)；其次，分析了RDF語義數(shù)據(jù)存儲(chǔ)存在的問題，并提出一種基于HBase的RDF語義元數(shù)據(jù)存儲(chǔ)策略，該存儲(chǔ)策略主要是針對HBase中Rowkey字段的數(shù)據(jù)存放提出一種優(yōu)化方法，即充分綜合數(shù)據(jù)加載、數(shù)據(jù)去重存儲(chǔ)以及數(shù)據(jù)查詢響應(yīng)等因素，將RDF數(shù)據(jù)的謂語進(jìn)行散列計(jì)算后，將該值與謂語存放于Rowkey中；第三，論文在優(yōu)化后的RDF數(shù)據(jù)存儲(chǔ)策略基礎(chǔ)上提出了數(shù)據(jù)加載、數(shù)據(jù)去重及數(shù)據(jù)查詢算法。

3、其中，數(shù)據(jù)加載算法主要是利用HBase自帶的數(shù)據(jù)加載工具完成，數(shù)據(jù)去重算法是利用模糊C均值聚類算法實(shí)現(xiàn)模糊聚類，并通過掃描謂語表來進(jìn)行優(yōu)化，進(jìn)而獲取初始聚類中心值，而數(shù)據(jù)查詢方法是通過將RDF數(shù)據(jù)的三個(gè)分量分別抽象化，借鑒基本圖模式查詢方法，通過判斷查詢條件找到相關(guān)節(jié)點(diǎn)及邊，在為節(jié)點(diǎn)進(jìn)行打分的基礎(chǔ)上對節(jié)點(diǎn)進(jìn)行排序，找出最佳的前k個(gè)值為最終結(jié)果輸出；最后，論文利用當(dāng)前最常用的語義網(wǎng)數(shù)據(jù)測試集 LUBM在小型集群中進(jìn)行測試，通過對各評價(jià)指標(biāo)