基于Spark并行LDA主題模型的研究.pdf

1、基于Spark并行LDA主題模型的研究重慶大學(xué)碩士學(xué)位論文(專(zhuān)業(yè)學(xué)位)學(xué)生姓名：肖建指導(dǎo)教師：葛亮副教授學(xué)位類(lèi)別：工程碩士（計(jì)算機(jī)技術(shù)領(lǐng)域）重慶大學(xué)計(jì)算機(jī)學(xué)院二O一六年四月重慶大學(xué)碩士學(xué)位論文中文摘要I摘要隨著信息技術(shù)和互聯(lián)網(wǎng)的高速發(fā)展，人們所能夠獲取的數(shù)據(jù)信息越來(lái)越多，數(shù)據(jù)的規(guī)模也在急劇增長(zhǎng)，已經(jīng)從最初的GB上升到TB甚至ZB級(jí)別。這些數(shù)據(jù)具有極大的潛在價(jià)值，但是卻因?yàn)閿?shù)據(jù)規(guī)模的原因加大了處理難度，因此如何快速有效地從中獲取所需的有用

2、信息成了人們亟待解決的問(wèn)題。LDA（LatentDirichletAllocation，隱含狄利克雷分配）算法是一種用于文本處理的主題模型，它能夠通過(guò)獲取文檔在主題空間的低維表示來(lái)實(shí)現(xiàn)文檔的分析。為了進(jìn)一步提高算法能夠處理數(shù)據(jù)的量級(jí)，算法的并行化也成了人們研究的熱點(diǎn)。ADLDA（ApproximateDistributedLDA，近似分布式LDA）是通過(guò)Gibbs采樣實(shí)現(xiàn)的并行化LDA算法，算法采用全局同步的思想，每次迭代完成以后才同步

3、融合得到全局的主題模型參數(shù)。由于在采樣的過(guò)程中并不能及時(shí)更新全局的釆樣參數(shù)，所以導(dǎo)致最終結(jié)果的精度相對(duì)標(biāo)準(zhǔn)的LDA算法還是略有損失。本文的主要工作如下：（1）在研究已有主題模型的基礎(chǔ)上，提出基于并行化ADLDA算法的改進(jìn)方法，在對(duì)數(shù)據(jù)進(jìn)行分割的過(guò)程中，引入TFIDF（TermFrequencyInverseDocumentFrequency，詞頻逆文檔頻率）算法計(jì)算文本間的相似度，并將相似度高的文檔分配到同一數(shù)據(jù)分塊，減弱了數(shù)據(jù)分塊之間

4、的相互依賴(lài)性，降低了并行算法中因?yàn)椴荒芗皶r(shí)更新全局采樣參數(shù)帶來(lái)的精度損失。（2）為了提高ADLDA算法處理海量數(shù)據(jù)的能力，本文考慮將算法放在分布式框架下運(yùn)行。Spark是一個(gè)基于內(nèi)存計(jì)算的分布式框架，擁有HadoopMapReduce所具有的優(yōu)點(diǎn)，并且能更好地適用于數(shù)據(jù)挖掘與機(jī)器學(xué)習(xí)等需要多次迭代的算法。因此本文選擇在Spark框架下實(shí)現(xiàn)了該算法。最后通過(guò)實(shí)驗(yàn)對(duì)比了經(jīng)典數(shù)據(jù)集下不同算法的收斂速度、困惑度以及加速比的情況。實(shí)驗(yàn)結(jié)果表明，改