rbm-dbn-rnn資料綜合

1、RBMRBMDBNDBNRNNRNN資料綜合資料綜合9.3、RestrictedBoltzmannMachine(RBM)限制波爾茲曼機(jī)限制波爾茲曼機(jī)假設(shè)有一個(gè)二部圖，每一層的節(jié)點(diǎn)之間沒(méi)有鏈接，一層是可視層，即輸入數(shù)據(jù)層（v)，一層是隱藏層(h)，如果假設(shè)所有的節(jié)點(diǎn)都是隨機(jī)二值變量節(jié)點(diǎn)（只能取0或者1值），同時(shí)假設(shè)全概率分布p(vh)滿足Boltzmann分布，我們稱這個(gè)模型是RestrictedBoltzmannMachine(RBM

2、)。下面我們來(lái)看看為什么它是DeepLearning方法。首先，這個(gè)模型因?yàn)槭嵌繄D，所以在已知v的情況下，所有的隱藏節(jié)點(diǎn)之間是條件獨(dú)立的（因?yàn)楣?jié)點(diǎn)之間不存在連接），即p(h|v)=p(h1|v)…p(hn|v)。同理，而某個(gè)組態(tài)的聯(lián)合概率分布可以通過(guò)Boltzmann分布（和這個(gè)組態(tài)的能量）來(lái)確定：因?yàn)殡[藏節(jié)點(diǎn)之間是條件獨(dú)立的（因?yàn)楣?jié)點(diǎn)之間不存在連接），即：然后我們可以比較容易（對(duì)上式進(jìn)行因子分解Factizes）得到在給定可視層v的