基于并行計(jì)算的流程對(duì)象知識(shí)發(fā)現(xiàn)系統(tǒng)的研究與實(shí)現(xiàn).pdf

1、流程工業(yè)在生產(chǎn)的過(guò)程中會(huì)積累大量的檢測(cè)數(shù)據(jù)，對(duì)這些數(shù)據(jù)進(jìn)行知識(shí)發(fā)現(xiàn)將對(duì)工業(yè)生產(chǎn)和控制過(guò)程產(chǎn)生有意義的指導(dǎo)。在分析了流程工業(yè)生產(chǎn)過(guò)程的幾大特點(diǎn)之后，課題組提出了流程對(duì)象抽象模型，并基于此提出了名為T(mén)ime series-Clustering-Association-Chain/Tree Flow（簡(jiǎn)稱為T(mén)-C-A-C/T Flow）的知識(shí)發(fā)現(xiàn)模型，本文的研究正是基于該已有的原始算法模型。
　　T-C-A-C/T Flow模型首先對(duì)生

2、產(chǎn)過(guò)程的環(huán)節(jié)數(shù)據(jù)進(jìn)行預(yù)處理并對(duì)各環(huán)節(jié)的時(shí)序進(jìn)行發(fā)現(xiàn)和調(diào)整，接著對(duì)環(huán)節(jié)數(shù)據(jù)進(jìn)行聚類以減少離散狀態(tài)數(shù)，在聚類基礎(chǔ)上對(duì)不同環(huán)節(jié)數(shù)據(jù)進(jìn)行二項(xiàng)關(guān)聯(lián)規(guī)則生成，二項(xiàng)關(guān)聯(lián)規(guī)則通過(guò)關(guān)聯(lián)度合并為關(guān)聯(lián)鏈/關(guān)聯(lián)樹(shù)，并最終統(tǒng)計(jì)生成環(huán)節(jié)狀態(tài)之間的關(guān)聯(lián)鏈，以此作為知識(shí)發(fā)現(xiàn)的最終結(jié)果以用于輔助人們決策。時(shí)序發(fā)現(xiàn)在整個(gè)算法模型中的作用是至關(guān)重要的，原始算法模型中采用了基于統(tǒng)計(jì)極值的時(shí)序發(fā)現(xiàn)方法，該方法具有較高的計(jì)算效率，但由于極值易受噪音和采樣影響，該方法的準(zhǔn)確度并不理

3、想。同時(shí)，由于實(shí)際生產(chǎn)中的數(shù)據(jù)量巨大并且該知識(shí)發(fā)現(xiàn)模型包含了比較耗時(shí)的迭代型數(shù)據(jù)挖掘算法，串行化計(jì)算方案將導(dǎo)致系統(tǒng)運(yùn)行緩慢，從而大大降低系統(tǒng)的實(shí)用性。為此，本文在對(duì)原始算法流程進(jìn)行了針對(duì)性改進(jìn)之后，對(duì)整個(gè)算法流程進(jìn)行了并行化設(shè)計(jì)與實(shí)現(xiàn)，以提升知識(shí)發(fā)現(xiàn)的準(zhǔn)確性與實(shí)時(shí)性。
　　針對(duì)原始算法流程的若干不足，本文對(duì)其進(jìn)行了有針對(duì)性的改進(jìn)。首先，針對(duì)環(huán)節(jié)數(shù)據(jù)之間度量單位以及數(shù)據(jù)波動(dòng)范圍的不同，本文對(duì)環(huán)節(jié)數(shù)據(jù)進(jìn)行了基于Z-score的數(shù)據(jù)歸一

4、化處理，歸一化之后的數(shù)據(jù)也方便了后續(xù)的可視化分析。其次，本文提出了基于Pearson相關(guān)系數(shù)曲線的環(huán)節(jié)時(shí)序發(fā)現(xiàn)方法，該方法針對(duì)每一個(gè)時(shí)間延遲計(jì)算兩環(huán)節(jié)數(shù)據(jù)的Pearson相關(guān)系數(shù)，并將其中最大相關(guān)系數(shù)對(duì)應(yīng)的時(shí)間延遲作為兩環(huán)節(jié)的相對(duì)時(shí)間延遲，經(jīng)實(shí)驗(yàn)分析該方法具有很高的準(zhǔn)確度。這些有針對(duì)性的算法改進(jìn)有效地提升了知識(shí)發(fā)現(xiàn)結(jié)果的準(zhǔn)確性和有效性，這對(duì)流程工業(yè)知識(shí)發(fā)現(xiàn)理論和實(shí)際生產(chǎn)應(yīng)用都將具有重大意義。
　　接下來(lái)本文針對(duì)改進(jìn)之后的算法模型，

5、進(jìn)行了基于Spark的并行化設(shè)計(jì)。針對(duì)并行計(jì)算中的瓶頸環(huán)節(jié)——數(shù)據(jù)通信，提出了邊界數(shù)據(jù)處理方法，有效地減少了并行計(jì)算中不同計(jì)算節(jié)點(diǎn)之間的數(shù)據(jù)通信量，該方法在系統(tǒng)的多個(gè)并行化算法中被使用到。整個(gè)系統(tǒng)的并行化設(shè)計(jì)包含了數(shù)據(jù)預(yù)處理、時(shí)序發(fā)現(xiàn)與調(diào)整、環(huán)節(jié)聚類、關(guān)聯(lián)分析以及狀態(tài)關(guān)聯(lián)這幾大步驟。最終，本文基于Spark框架以編程的方式實(shí)現(xiàn)了該知識(shí)發(fā)現(xiàn)模型的并行化系統(tǒng)，經(jīng)過(guò)測(cè)試對(duì)比和分析得出該并行化設(shè)計(jì)與實(shí)現(xiàn)較串行化有了較大的效率提升。并行化的設(shè)計(jì)與