制造物聯(lián)海量數(shù)據(jù)流模式挖掘算法研究.pdf

1、制造物聯(lián)(Internet of Manufacturing Things，IOMT)是一種新型的制造與信息融合的生態(tài)系統(tǒng)，將嵌入式、RFID、網(wǎng)絡(luò)、傳感器及執(zhí)行器等制造技術(shù)與電子信息技術(shù)相融合，實現(xiàn)對產(chǎn)品設(shè)計、制造與服務(wù)過程中信息資源與制造資源的動態(tài)感知、智能處理、海量挖掘、與優(yōu)化控制的一種新型的信息服務(wù)模式與制造模式。IOMT部署了大量的感知節(jié)點在現(xiàn)場來實時監(jiān)控生產(chǎn)環(huán)境情況等，產(chǎn)生了海量的分布式制造數(shù)據(jù)流以及海量制造數(shù)據(jù)。傳統(tǒng)的頻繁

2、模式挖掘算法無法滿足當(dāng)前制造物聯(lián)的應(yīng)用要求，因此設(shè)計高效可行的頻繁模式挖掘算法挖掘出有用知識就成為了新的挑戰(zhàn)。
　　本文著重分析了IOMT內(nèi)產(chǎn)生的制造數(shù)據(jù)數(shù)量巨大和實時數(shù)據(jù)流海量分布的特點，在對現(xiàn)有的數(shù)據(jù)流頻繁模式挖掘算法進行深入研究的基礎(chǔ)上，提出并設(shè)計了面向IOMT這個特定環(huán)境下的海量數(shù)據(jù)流頻繁模式挖掘的高效算法，并通過實驗仿真驗證其高效性。本文的主要工作概括如下:
　　(1)分析了傳統(tǒng)的頻繁項集挖掘算法以及數(shù)據(jù)流頻繁模式

3、挖掘算法，并結(jié)合制造物聯(lián)中產(chǎn)生的數(shù)據(jù)特性，綜合分析它們的優(yōu)缺點。
　　(2)針對制造物聯(lián)制造數(shù)據(jù)海量的特點，而傳統(tǒng)的Aprioir算法面向海量數(shù)據(jù)挖掘效率低的問題，本文提出了一種基于MapReduce的高效頻繁模式挖掘算法。該算法首先采用AprioriTid算法來對原始的數(shù)據(jù)進行預(yù)處理，刪除所有的低頻1-項集，然后計算出每次處理集（L）和最小支持度(N)的長度來確定Map操作結(jié)束后的最大合并項候選集。算法減少了Map任務(wù)中低頻項集

4、的生成以及分散主機間的通信量，通過與已存算法進行實驗仿真對比表明:該算法大大的減少了內(nèi)存的占用，提高了挖掘效率。
　　(3)針對制造物聯(lián)實時產(chǎn)生海量分布式制造流的特點，以及感知節(jié)點計算能力不足和資源有限的問題。本文提出了一種基于MapReduce的數(shù)據(jù)流閉頻繁模式挖掘算法。該算法提出一種改進的FP-Tree數(shù)據(jù)結(jié)構(gòu)，通過對分布式節(jié)點構(gòu)建窗口樹IFP-Tree，然后動態(tài)的對IFP-Tree進行更新、減枝及挖掘，能夠迅速響應(yīng)查詢請求，