基于MapReduce的文檔大數(shù)據(jù)挖掘若干關(guān)鍵技術(shù)研究.pdf

1、文檔作為一種重要的大數(shù)據(jù)類型，蘊(yùn)含著豐富的有價值的數(shù)據(jù)，其具有非結(jié)構(gòu)化、樣式不固定、數(shù)據(jù)混雜、價值稀疏等特征。針對文檔大數(shù)據(jù)的特點，提出了一種基于MapReduce的文檔大數(shù)據(jù)挖掘方法，對文檔大數(shù)據(jù)挖掘的平臺框架、文檔大數(shù)據(jù)預(yù)處理方法、文檔大數(shù)據(jù)并行挖掘算法等內(nèi)容進(jìn)行了研究，其主要研究工作包括：
　　1.設(shè)計了一種基于MapReduce的文檔大數(shù)據(jù)挖掘平臺框架。
　　該框架主要由分布式數(shù)據(jù)存儲、數(shù)據(jù)抽取、并行數(shù)據(jù)挖掘、用戶接

2、口四個子系統(tǒng)組成。分布式數(shù)據(jù)存儲子系統(tǒng)負(fù)責(zé)文檔的分布式存儲；數(shù)據(jù)抽取子系統(tǒng)負(fù)責(zé)對文檔進(jìn)行數(shù)據(jù)抽取并將抽取得到的結(jié)果組織成結(jié)構(gòu)化數(shù)據(jù)；并行數(shù)據(jù)挖掘子系統(tǒng)負(fù)責(zé)對存儲的結(jié)構(gòu)化數(shù)據(jù)進(jìn)行數(shù)據(jù)挖掘；用戶接口子系統(tǒng)負(fù)責(zé)與用戶的交互操作。
　　2.提出了一種面向非結(jié)構(gòu)化表格文檔的數(shù)據(jù)抽取方法與組織模型。
　　針對現(xiàn)有抽取方法不能適應(yīng)多值屬性且靈活性不高的問題，在分析非結(jié)構(gòu)化表格文檔結(jié)構(gòu)特征和數(shù)據(jù)流特征的基礎(chǔ)上，提出了一種基于規(guī)則的數(shù)據(jù)抽取方

3、法，并將數(shù)據(jù)抽取結(jié)果組織為適合于MapReduce并行編程模型分析的結(jié)構(gòu)化數(shù)據(jù)模型。
　　3.實現(xiàn)了基于MapReduce的文檔大數(shù)據(jù)并行挖掘算法。
　　針對K-Means算法依賴于初始聚類中心和孤立點敏感的問題，提出了一種基于密度的DBK-Means算法并基于MapReduce將其并行化。針對C4.5算法過度擬合和可擴(kuò)展性差的問題，提出了一種基于Bagging技術(shù)的BBC4.5算法并基于MapReduce將其并行化。