基于張量的大數(shù)據(jù)統(tǒng)一表示及降維方法研究.pdf

1、統(tǒng)一表示與降維方法研究是大數(shù)據(jù)領(lǐng)域的兩個(gè)重要課題。然而，目前尚缺乏簡(jiǎn)潔有效的模型實(shí)現(xiàn)非結(jié)構(gòu)化、半結(jié)構(gòu)化、結(jié)構(gòu)化數(shù)據(jù)的統(tǒng)一表示。另外，在大數(shù)據(jù)計(jì)算過程中，大量不一致、重復(fù)冗余、噪音數(shù)據(jù)的存在，嚴(yán)重影響了大數(shù)據(jù)處理算法的效率和計(jì)算結(jié)果的準(zhǔn)確性。構(gòu)建簡(jiǎn)潔的數(shù)學(xué)模型對(duì)結(jié)構(gòu)復(fù)雜的大數(shù)據(jù)進(jìn)行統(tǒng)一表示，設(shè)計(jì)高效安全的降維算法從低質(zhì)量原始大數(shù)據(jù)中提取出高質(zhì)量核心數(shù)據(jù)集，對(duì)于大數(shù)據(jù)研究有著巨大的理論和實(shí)踐意義。從大數(shù)據(jù)四大特征（規(guī)模大、類型多樣、速度快、

2、價(jià)值密度不均）出發(fā)，研究基于張量的大數(shù)據(jù)統(tǒng)一表示模型，提出增量式、分布式、安全的大數(shù)據(jù)降維方法。
　　本研究主要內(nèi)容包括：⑴提出大數(shù)據(jù)統(tǒng)一表示模型。傳統(tǒng)的數(shù)據(jù)處理技術(shù)無法對(duì)復(fù)雜結(jié)構(gòu)類型的數(shù)據(jù)進(jìn)行統(tǒng)一表示。針對(duì)不同結(jié)構(gòu)類型數(shù)據(jù)的特點(diǎn)，提出高階張量空間統(tǒng)一表示模型，實(shí)現(xiàn)對(duì)非結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)、結(jié)構(gòu)化數(shù)據(jù)的統(tǒng)一表示。針對(duì)異構(gòu)數(shù)據(jù)特征沖突問題，提出張量空間動(dòng)態(tài)融合機(jī)制，在保持原始數(shù)據(jù)特征完備性的基礎(chǔ)上，實(shí)現(xiàn)異構(gòu)數(shù)據(jù)在高階張量空間中的

3、高效表示。另外，面向大數(shù)據(jù)應(yīng)用系統(tǒng)的不同需求，提出大數(shù)據(jù)整合方法，實(shí)現(xiàn)異構(gòu)數(shù)據(jù)的靈活組織和統(tǒng)一整合。⑵提出大數(shù)據(jù)增量式降維方法。數(shù)據(jù)在分析和處理過程中呈現(xiàn)出計(jì)算規(guī)模巨大和中間計(jì)算結(jié)果爆炸性增長(zhǎng)兩大特點(diǎn)，從而導(dǎo)致重復(fù)計(jì)算和效率低下等問題。提出基于張量的大數(shù)據(jù)增量式降維方法，將新增數(shù)據(jù)投影到張量模展開矩陣的左奇異向量基空間，并利用投影結(jié)果動(dòng)態(tài)更新正交基向量空間和核心張量。提出并證明核心張量等價(jià)定理，解決核心張量沿時(shí)間階的增量式更新問題。提出

4、張量遞歸增量式分解算法。實(shí)驗(yàn)結(jié)果表明，該算法能夠保證計(jì)算準(zhǔn)確度、減少中間計(jì)算結(jié)果、消除重復(fù)計(jì)算過程、降低計(jì)算復(fù)雜度，極大提高了大數(shù)據(jù)降維方法的效率。⑶提出大數(shù)據(jù)分布式降維方法，實(shí)現(xiàn)優(yōu)質(zhì)核心數(shù)據(jù)在分布式計(jì)算環(huán)境下的高效提取。分布式降維方法包括分布式算法、分布式環(huán)境搭建、張量分塊策略三部分。提出張量分塊模型，基于Lanczos迭代過程，提出分布式張量分解算法，基于異構(gòu)計(jì)算設(shè)備構(gòu)建分布式計(jì)算環(huán)境執(zhí)行降維任務(wù)，提取高質(zhì)量核心數(shù)據(jù)?；谛袎嚎s模式

5、存儲(chǔ)張量分塊以減少計(jì)算過程中的數(shù)據(jù)存儲(chǔ)量。為了更合理地將張量塊分配到計(jì)算設(shè)備上，提出四目標(biāo)優(yōu)化方法，對(duì)分解過程中的能耗、計(jì)算時(shí)間、通信量、數(shù)據(jù)安全級(jí)別建模，實(shí)現(xiàn)降維過程中張量塊近似最優(yōu)分配。⑷提出大數(shù)據(jù)安全降維方法?；诎胪瑧B(tài)加密機(jī)制 Paillier和全同態(tài)加密機(jī)制 BGV提出兩種大數(shù)據(jù)安全降維方法。基于半同態(tài)加密機(jī)制的安全降維方法由安全雙對(duì)角化算法、安全奇異值分解算法、安全模乘算法構(gòu)成，在客戶端構(gòu)建密文子張量，在服務(wù)器端求得核心張量