基于快速置信傳播算法的并行主題建模方法研究.pdf

1、概率主題模型利用快速的非監(jiān)督機器學(xué)習(xí)算法來自動組織、理解和摘要文本的主要內(nèi)容，長期以來一直是機器學(xué)習(xí)的研究熱點之一。Hofmann提出了第一個嚴(yán)格意義上的概率主題模型probabilisticLatentSemanticAnalysis(pLSA)，而Blei等人又在pLSA的基礎(chǔ)上擴展得到更為完全的概率主題模型LatentDirichletAllocation(LDA)。LDA首先對文本建模，然后利用變分貝葉斯（Variational

2、Bayes，VB）、吉布斯采樣(GibbsSampling，GS)或置信傳播(BeliefPropagation，BP)推斷模型參數(shù)，最后挖掘出數(shù)據(jù)的隱含主題結(jié)構(gòu)，獲取文本的重要信息。
　　 而如何有效的對大規(guī)模文本進行主題建模，從而能夠滿足計算時間與內(nèi)存的需求，最后從模型中發(fā)掘潛在的主題規(guī)律一直是學(xué)者們關(guān)心的問題。本文分別采用基于OpenMP和MPI的高效并行算法，用來推斷模型參數(shù)，特別是并行快速BP算法，在不損失精度的情況下

3、，快速推斷模型參數(shù)，高效地處理超大規(guī)模數(shù)據(jù)。并行算法利用集群系統(tǒng)或者多核服務(wù)器分擔(dān)存儲負(fù)荷，并提高計算速率，不但解決了單機計算機的瓶頸問題，還提高了算法的可靠性、可用性和擴展性。本文的主要研究工作如下：
　　 1．研究了主題模型及其VB、GS、BP和快速BP推斷算法，并通過實驗對比證實了快速BP算法在速度和精確度上的優(yōu)勢，為解決其并行算法奠定理論基礎(chǔ)。
　　 2．提出了基于MPI的快速BP算法并應(yīng)用于分布式內(nèi)存的集群上，