版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進行舉報或認(rèn)領(lǐng)
文檔簡介
1、隨著信息技術(shù)與互聯(lián)網(wǎng)技術(shù)的深入發(fā)展,全球數(shù)據(jù)量呈現(xiàn)出爆炸式增長。大規(guī)模數(shù)據(jù)集不僅具有時間特性,隨著社會生活資料和生產(chǎn)資料日益繁雜,還具有明顯的多維屬性。如何真實的反應(yīng)出現(xiàn)實世界中事物和事物之間、事物的不同屬性之間以及不同事物的不同屬性之間的聯(lián)系,從而挖掘出有效的、新穎的、潛在可用的模式和規(guī)則,具有重要的研究意義。
數(shù)據(jù)挖掘是從規(guī)模龐大的、有噪聲的數(shù)據(jù)中提取出數(shù)據(jù)內(nèi)部規(guī)律的表現(xiàn)特征的方法和技術(shù)。面對海量的多維時態(tài)數(shù)據(jù),傳統(tǒng)的存儲
2、系統(tǒng)以及數(shù)據(jù)挖掘模式已經(jīng)不能勝任其所面臨的在效率、擴展性和成本等方面的挑戰(zhàn)。云計算技術(shù),特別是Hadoop平臺以其擴展性強、性價比高、容錯性好等優(yōu)勢給出了解決大數(shù)據(jù)挖掘的方案。結(jié)合Hadoop云計算平臺,實現(xiàn)大規(guī)模多維時態(tài)數(shù)據(jù)的挖掘是本論文要進行研究的。
首先,從時態(tài)數(shù)據(jù)入手,構(gòu)造出多維時態(tài)數(shù)據(jù)SDTE模型??偨Y(jié)歸納了時間相關(guān)的概念,以時間特性為中心,討論了時態(tài)數(shù)據(jù)的多維性。從現(xiàn)實世界和數(shù)據(jù)庫系統(tǒng)角度出發(fā),結(jié)合時態(tài)數(shù)據(jù)的數(shù)值型
3、序列、事務(wù)型序列以及事件性序列挖掘的研究,提出了并建立了統(tǒng)一規(guī)范的多維時態(tài)數(shù)據(jù)SDTE模型。
其次,結(jié)合大規(guī)模數(shù)據(jù)挖掘和Hadoop技術(shù)平臺,架構(gòu)出基于Hadoop技術(shù)框架的大規(guī)模多維時態(tài)數(shù)據(jù)挖掘模型。模型采用分布式文件系統(tǒng)實現(xiàn)超大文件數(shù)據(jù)的存儲和容錯,同時使用MapReduce的編程模式進行并行計算。自頂向下分層分為動態(tài)交互層、業(yè)務(wù)應(yīng)用層、數(shù)據(jù)挖掘?qū)雍头植际狡脚_層。著重對數(shù)據(jù)挖掘?qū)拥臄?shù)據(jù)管理模塊和并行化編程模塊進行了整合和優(yōu)
4、化。提出了Hive-HBase集成模型對HDFS進行操作,構(gòu)建了通用性的并行化編程模型。
然后,基于模型改進了關(guān)聯(lián)規(guī)則FP-Growth算法并進行實驗?;趯Χ嗑S關(guān)聯(lián)規(guī)則概念的研究,在FP-Growth算法的基礎(chǔ)上對影響算法效率較大的求子條件模式基的算法進行改進,提出了FPCpb算法。并對FPCpb算法進行并行化。
最后,搭建實驗環(huán)境進行實驗,依據(jù)評估標(biāo)準(zhǔn)對數(shù)據(jù)進行分析,驗證了Hadoop多維時態(tài)數(shù)據(jù)挖掘模型的可行性
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 眾賞文庫僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負(fù)責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時也不承擔(dān)用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。
最新文檔
- 時態(tài)數(shù)據(jù)挖掘技術(shù)的研究與應(yīng)用.pdf
- 基于HADOOP的數(shù)據(jù)挖掘研究.pdf
- 基于粗糙集的多維數(shù)據(jù)挖掘的研究與應(yīng)用.pdf
- 基于SVM的時態(tài)數(shù)據(jù)挖掘研究.pdf
- 多維時態(tài)關(guān)聯(lián)規(guī)則挖掘的研究.pdf
- 時態(tài)數(shù)據(jù)挖掘及其應(yīng)用.pdf
- 基于Hadoop的卡口數(shù)據(jù)挖掘技術(shù)研究與應(yīng)用.pdf
- 時態(tài)多維數(shù)據(jù)概念模型及管理策略研究.pdf
- 基于Hadoop的文本挖掘研究與應(yīng)用.pdf
- 多維數(shù)據(jù)及時態(tài)數(shù)據(jù)索引研究.pdf
- 基于Hadoop平臺的數(shù)據(jù)挖掘算法研究.pdf
- 基于Hadoop的數(shù)據(jù)挖掘技術(shù)研究.pdf
- 基于Hadoop的數(shù)據(jù)挖掘算法的研究.pdf
- 基于滯后關(guān)聯(lián)的多維數(shù)據(jù)流挖掘的研究與應(yīng)用.pdf
- 基于Hadoop的多維數(shù)據(jù)倉庫數(shù)據(jù)劃分與查詢技術(shù)研究與實現(xiàn).pdf
- 基于Hadoop平臺的數(shù)據(jù)挖掘分類算法分析與研究.pdf
- 基于Hadoop平臺的醫(yī)保數(shù)據(jù)挖掘.pdf
- 基于Hadoop的海量數(shù)據(jù)處理模型研究和應(yīng)用.pdf
- 基于云模型的數(shù)據(jù)挖掘算法的研究與應(yīng)用.pdf
- 基于Hadoop的海量小型XML數(shù)據(jù)挖掘的研究.pdf
評論
0/150
提交評論