基于Neo4j的大數(shù)據(jù)組織檢索研究與應(yīng)用.pdf

1、隨著數(shù)據(jù)規(guī)模的增大，傳統(tǒng)關(guān)系型數(shù)據(jù)庫RDBMS在擴(kuò)展性方面的瓶頸讓人們無所適從，如何存儲(chǔ)、檢索、分析大數(shù)據(jù)及其之間深層次的關(guān)聯(lián)關(guān)系，已逐漸成為一個(gè)不可忽略的問題。作為一種無模式的數(shù)據(jù)存儲(chǔ)模型，圖形數(shù)據(jù)庫Neo4j善于處理大量復(fù)雜、互連接且低結(jié)構(gòu)化的數(shù)據(jù)，同時(shí)可以應(yīng)用圖論進(jìn)行各種復(fù)雜嚴(yán)密的數(shù)學(xué)計(jì)算，挖掘數(shù)據(jù)間的關(guān)聯(lián)關(guān)系。本文通過研究圖形數(shù)據(jù)庫Neo4j，設(shè)計(jì)和實(shí)現(xiàn)了一種基于Neo4j的大數(shù)據(jù)組織檢索挖掘方案。本文主要工作如下:
　　

2、首先，本文設(shè)計(jì)了一種基于圖形數(shù)據(jù)庫Neo4j存儲(chǔ)組織大規(guī)模數(shù)據(jù)的解決方案。針對(duì)傳統(tǒng)關(guān)系型數(shù)據(jù)庫RDBMS在擴(kuò)展性方面的瓶頸，本文通過研究圖形數(shù)據(jù)庫Neo4j自身的性能，將數(shù)據(jù)組織成圖的形式，配置集群，利用圖的頂點(diǎn)和邊分別表示實(shí)體和實(shí)體間的關(guān)系，最終通過對(duì)點(diǎn)、邊的組織來存儲(chǔ)多源異構(gòu)的海量數(shù)據(jù)。
　　其次，在基于Neo4j組織數(shù)據(jù)的基礎(chǔ)上，針對(duì)現(xiàn)有方法檢索結(jié)果TOP-K查準(zhǔn)率較低這一問題，設(shè)計(jì)了一種面向Neo4j的全文檢索算法。該算法

3、首先提取Neo4j中節(jié)點(diǎn)的對(duì)應(yīng)屬性，經(jīng)過中文分詞后構(gòu)建全文索引，然后通過引入向量空間模型及Lucene相關(guān)技術(shù)，計(jì)算查詢關(guān)鍵詞與待檢索節(jié)點(diǎn)的相似度，最終實(shí)現(xiàn)檢索結(jié)果按相似性大小排序。
　　最后，利用圖論相關(guān)知識(shí)挖掘數(shù)據(jù)間的關(guān)聯(lián)關(guān)系，包括智能推薦、影響力分析、聚類分析及路徑分析，最終完成了基于Neo4j的大數(shù)據(jù)組織檢索系統(tǒng)，包括數(shù)據(jù)組織模塊、數(shù)據(jù)檢索模塊以及數(shù)據(jù)分析模塊。同時(shí)對(duì)本文設(shè)計(jì)的基于Neo4j的大數(shù)據(jù)組織檢索挖掘系統(tǒng)進(jìn)行了功