電力大數(shù)據(jù)平臺下數(shù)據(jù)分析與挖掘研究與應(yīng)用.pdf

1、數(shù)據(jù)挖掘經(jīng)過二十幾年的發(fā)展，已經(jīng)有很多成熟的理論，應(yīng)用也已經(jīng)滲入到各個領(lǐng)域。近幾年，計(jì)算機(jī)技術(shù)和網(wǎng)路技術(shù)高速發(fā)展，人們所面臨的數(shù)據(jù)量呈指數(shù)增長，傳統(tǒng)的數(shù)據(jù)挖掘方法及技術(shù)將面臨巨大困難，如何從大量的原始數(shù)據(jù)中挖掘出有價值的知識成為研究難點(diǎn)。在電力行業(yè)，隨著電力業(yè)務(wù)系統(tǒng)的深入應(yīng)用以及智能電表的普及和推廣，用于電力科學(xué)研究的電力運(yùn)行數(shù)據(jù)、測試、仿真等數(shù)據(jù)量呈現(xiàn)指數(shù)級增長，關(guān)聯(lián)關(guān)系多且復(fù)雜。數(shù)據(jù)挖掘技術(shù)與大數(shù)據(jù)技術(shù)的結(jié)合成為一個新的研究方向。<

2、br>　　本文針對以上情況，首先詳細(xì)分析了數(shù)據(jù)挖掘算法中的Apriori算法的優(yōu)缺點(diǎn)，針對Apriori算法存在的缺陷，提出基于迭代矩陣的改進(jìn)算法IM_Apriori算法，IM_Apriori算法用布爾矩陣存儲數(shù)據(jù)集，在計(jì)算過程中用k-頻繁集矩陣和k-候選集矩陣代替原布爾矩陣，減少計(jì)算次數(shù)。并且在Spark中實(shí)現(xiàn)IM_Apriori算法的并行化，在理論方面分析了本文的改進(jìn)算法的高效性，
　　然后建立一個電力大數(shù)據(jù)平臺，把平臺定位為

3、數(shù)據(jù)共享平臺、數(shù)據(jù)分析應(yīng)用平臺、大數(shù)據(jù)應(yīng)用開發(fā)運(yùn)行平臺，從數(shù)據(jù)采集、存儲、預(yù)處理、計(jì)算、分析、可視化等多個層面為人們提供服務(wù)。本文分析了電力大數(shù)據(jù)平臺建設(shè)需求，詳細(xì)設(shè)計(jì)了電力大數(shù)據(jù)平臺架構(gòu)設(shè)計(jì)，從平臺整體架構(gòu)、功能架構(gòu)、技術(shù)架構(gòu)等幾個方面闡述大數(shù)據(jù)平臺的具體實(shí)現(xiàn)方式，結(jié)合具體技術(shù)詳細(xì)介紹了從數(shù)據(jù)采集、預(yù)處理、數(shù)據(jù)存儲、數(shù)據(jù)處理和數(shù)據(jù)展現(xiàn)的實(shí)現(xiàn)過程，為電力行業(yè)進(jìn)行數(shù)據(jù)挖掘與具體應(yīng)用提供可靠的分析挖掘平臺。
　　之后分別在單機(jī)環(huán)境和集