基于MapReduce的文獻(xiàn)發(fā)現(xiàn)系統(tǒng)研究與設(shè)計(jì).pdf

1、隨著互聯(lián)網(wǎng)信息產(chǎn)業(yè)的飛速發(fā)展，各行各業(yè)的數(shù)據(jù)都在以指數(shù)形式快速增長(zhǎng)，數(shù)據(jù)以多元、多態(tài)、互聯(lián)等形式影響著人們的生產(chǎn)生活，大數(shù)據(jù)已經(jīng)成為我們時(shí)代發(fā)展的標(biāo)志。在學(xué)術(shù)界，每年都有大量的文獻(xiàn)發(fā)表，文獻(xiàn)之間的關(guān)系網(wǎng)絡(luò)也越來越復(fù)雜，傳統(tǒng)的文獻(xiàn)發(fā)現(xiàn)方法是基于某種數(shù)據(jù)庫管理系統(tǒng)中存在的文獻(xiàn)數(shù)據(jù)來發(fā)現(xiàn)相關(guān)信息，如采用關(guān)鍵詞匹配的方式來進(jìn)行主題發(fā)現(xiàn)等，而對(duì)于文獻(xiàn)之間的關(guān)聯(lián)關(guān)系及用戶對(duì)某類文獻(xiàn)的喜好程度等方面研究甚少，因此造成的結(jié)果就是篩選出的文獻(xiàn)通常存在文獻(xiàn)

2、關(guān)聯(lián)性差、主題不明確、文獻(xiàn)質(zhì)量不高等缺陷。在海量文獻(xiàn)數(shù)據(jù)的場(chǎng)景下，上述缺陷將更加明顯。大數(shù)據(jù)技術(shù)的快速發(fā)展為解決以上問題提供了有效的手段。
　　目前，開源Hadoop項(xiàng)目是最流行的處理大規(guī)模數(shù)據(jù)的工具之一，其基本組成部分有分布式計(jì)算框架MapReduce和分布式文件系統(tǒng)HDFS。本文利用其中的并行計(jì)算框架MapReduce對(duì)文獻(xiàn)發(fā)現(xiàn)的相關(guān)方法與技術(shù)進(jìn)行研究，構(gòu)建了基于MapReduce的文獻(xiàn)發(fā)現(xiàn)系統(tǒng)，以快速地發(fā)現(xiàn)用戶所需的文獻(xiàn)信息

3、，對(duì)大數(shù)據(jù)時(shí)代快速高效地實(shí)現(xiàn)文獻(xiàn)發(fā)現(xiàn)具有重要意義。
　　首先，本文對(duì)分布式計(jì)算技術(shù)進(jìn)行了研究，并結(jié)合相關(guān)的數(shù)據(jù)挖掘算法對(duì)基于MapReduce的文獻(xiàn)發(fā)現(xiàn)方法進(jìn)行了設(shè)計(jì)與實(shí)現(xiàn)。針對(duì)大規(guī)模文獻(xiàn)數(shù)據(jù)，一方面采用分布式的方式分析了文獻(xiàn)的活躍度，并對(duì)文獻(xiàn)的活躍度進(jìn)行了排名;另一方面，通過對(duì)FP-Growth頻繁模式挖掘算法進(jìn)行并行化實(shí)現(xiàn)，達(dá)到挖掘文獻(xiàn)數(shù)據(jù)中的頻繁項(xiàng)集的目的，從而給出文獻(xiàn)之間潛在的關(guān)聯(lián)關(guān)系，并進(jìn)一步對(duì)該并行化算法進(jìn)行了性能測(cè)試

4、，驗(yàn)證了該算法的有效性。
　　然后，在上述理論方法研究的基礎(chǔ)上，對(duì)分布式文獻(xiàn)發(fā)現(xiàn)系統(tǒng)進(jìn)行了架構(gòu)設(shè)計(jì)與功能實(shí)現(xiàn)。通過分析用戶的歷史搜索日志，挖掘出了用戶喜好，從而實(shí)現(xiàn)了該分布式文獻(xiàn)發(fā)現(xiàn)系統(tǒng)的個(gè)性化推薦功能，并進(jìn)一步應(yīng)用本文設(shè)計(jì)的分布式文獻(xiàn)發(fā)現(xiàn)方法為用戶提供高質(zhì)量的文獻(xiàn)，提高了用戶的體驗(yàn)效果。
　　通過利用分布式計(jì)算的方式處理學(xué)術(shù)領(lǐng)域內(nèi)的文獻(xiàn)大數(shù)據(jù)集，并結(jié)合并行FP-Growth算法發(fā)現(xiàn)文獻(xiàn)之間的關(guān)聯(lián)關(guān)系，充分發(fā)揮了分布式計(jì)算在