一種基于共享內(nèi)存的快速并行主題建模算法.pdf

1、隨著互聯(lián)網(wǎng)的快速發(fā)展，對(duì)非結(jié)構(gòu)化數(shù)據(jù)處理的時(shí)效性要求逐漸變高，并行化的主題建模是一種能夠有效的快速處理非結(jié)構(gòu)化數(shù)據(jù)的方法。潛在狄利克雷分配（Latent Dirichlet Allocation，LDA）是一種常用的概率主題模型，它能夠通過(guò)獲取文檔在主題空間的低維表示來(lái)實(shí)現(xiàn)文檔的分析。但是并行LDA模型在處理大規(guī)模數(shù)據(jù)時(shí)面臨兩大問(wèn)題：一是對(duì)于已有的LDA近似推理算法，都存在著相應(yīng)的缺點(diǎn)使其難以被應(yīng)用于大規(guī)模數(shù)據(jù)的處理與分析。信息傳播算法

2、雖然在收斂速度以及計(jì)算復(fù)雜度上都具有一定的優(yōu)勢(shì)，但其空間復(fù)雜度過(guò)大，使其無(wú)法在大數(shù)據(jù)處理上得到很好的應(yīng)用；二是現(xiàn)有基于共享內(nèi)存并未很好的解決線程之間的阻塞問(wèn)題，線程阻塞大大降低了并行LDA算法效率。如何改進(jìn)已有LDA算法中近似推理方法以避免其在大規(guī)模數(shù)據(jù)處理中的缺陷，以及如何有效減少共享內(nèi)存并行算法中線程阻塞時(shí)間，從而實(shí)現(xiàn)一種更實(shí)用和高效的基于共享內(nèi)存的并行LDA算法是一件非常有挑戰(zhàn)性的工作。
　　基于傳統(tǒng)信息傳播算法的空間復(fù)雜度

3、較大的問(wèn)題，本文通過(guò)從最大化期望（Expectation Maximization，EM）的角度對(duì)信息傳播算法進(jìn)行重新解釋?zhuān)岢隽艘环N新的參數(shù)更新方法（Expectation-maximization Belief Propagation，EBP）。這種更新方式不再需要剔除信息矩陣本身信息，能夠避開(kāi)統(tǒng)計(jì)過(guò)程中的信息存儲(chǔ)問(wèn)題，從而極大地減少信息傳播算法中的空間復(fù)雜度。
　　基于傳統(tǒng)共享內(nèi)存的并行LDA算法無(wú)法有效利用線程的計(jì)算資源，

4、經(jīng)常會(huì)導(dǎo)致線程阻塞問(wèn)題。本文提出了一種基于共享內(nèi)存的動(dòng)態(tài)調(diào)度并行方法，能夠?qū)⑺惴ú⑿械倪^(guò)程看成是一個(gè)為線程分配工作的過(guò)程，通過(guò)動(dòng)態(tài)的為線程分配任務(wù)，實(shí)現(xiàn)了線程間無(wú)等待的動(dòng)態(tài)調(diào)度，改善了傳統(tǒng)共享內(nèi)存并行算法中的線程等待問(wèn)題。通過(guò)將改進(jìn)的信息傳播算法與改進(jìn)的并行算法結(jié)合實(shí)現(xiàn)了一種基于共享內(nèi)存的快速并行主題建模算法（Parallel Expectation-maximization Belief Propagation，PEBP）。