（節(jié)選）外文翻譯--基于fpga具有學(xué)習(xí)能力的同時(shí)擾動(dòng)脈沖密度神經(jīng)網(wǎng)絡(luò)（譯文）

1、中文 中文 4080 字出處： 出處：Maeda Y, Tada T. FPGA implementation of a pulse density neural network with learning ability using simultaneous perturbation[J]. IEEE Transactions on Neural Networks, 2003, 14(3):688-695.基于 基于 FPGA FPG

2、A 具有學(xué)習(xí)能力的同時(shí)擾動(dòng)脈沖密度神經(jīng)網(wǎng)絡(luò) 具有學(xué)習(xí)能力的同時(shí)擾動(dòng)脈沖密度神經(jīng)網(wǎng)絡(luò)Yutaka Maeda and Toshiki Tada摘要 摘要：當(dāng)考慮到神經(jīng)網(wǎng)絡(luò)更廣泛的使用時(shí)，硬件實(shí)現(xiàn)是非常重要的。特別地，伴隨學(xué)習(xí)能力的神經(jīng)網(wǎng)絡(luò)的硬件實(shí)現(xiàn)是吸引人的。在這些網(wǎng)絡(luò)中，由于反向傳播的方法被廣泛使用，學(xué)習(xí)計(jì)劃是很有趣的。在電子系統(tǒng)中漸變類型的學(xué)習(xí)規(guī)則不容易實(shí)現(xiàn)的，因?yàn)榫W(wǎng)絡(luò)中所有的權(quán)重的梯度計(jì)算非常困難。同時(shí)擾動(dòng)方法是更適用，因?yàn)閷W(xué)習(xí)規(guī)則

3、只需要網(wǎng)絡(luò)的前向操作來修改權(quán)重而不像反向傳播方法。另外，脈沖密度神經(jīng)網(wǎng)絡(luò)有一些有前途的屬性，它們?cè)谠肼暻闆r下具有魯棒性，并可以處理模擬量的基礎(chǔ)上的數(shù)字電路。在本文中，我們描述了一個(gè)現(xiàn)場(chǎng)可編程門陣列實(shí)現(xiàn)的使用同時(shí)擾動(dòng)方法作為學(xué)習(xí)計(jì)劃的脈沖密度神經(jīng)網(wǎng)絡(luò)。我們通過一些例子確認(rèn)神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)和操作的實(shí)際可行性。關(guān)鍵詞 關(guān)鍵詞 - 現(xiàn)場(chǎng)可編程門陣列（FPGA） ，學(xué)習(xí)能力，神經(jīng)網(wǎng)絡(luò)（NNS） ，脈沖密度，同時(shí)擾動(dòng)一、引言神經(jīng)網(wǎng)絡(luò)（NNS）被廣泛的應(yīng)

4、用，其中神經(jīng)網(wǎng)絡(luò)通常在普通數(shù)字計(jì)算機(jī)上被用作軟件程序。但是，軟件不能利用神經(jīng)網(wǎng)絡(luò)具有生物特性的價(jià)值。在這方面，利用硬件元件比如超大規(guī)模集成（VLSI）來使用神經(jīng)網(wǎng)絡(luò)是更好的。在考慮硬件實(shí)現(xiàn)神經(jīng)網(wǎng)絡(luò)時(shí)，硬件系統(tǒng)的學(xué)習(xí)機(jī)制的實(shí)現(xiàn)是一個(gè)重要而困難的問題[1]。正如我們所知道的，反向傳播方法是常用的。然而，要實(shí)現(xiàn)電子系統(tǒng)的反向傳播方法是非常困難的，考慮對(duì)所有權(quán)重修改量的布線，S 形函數(shù)的導(dǎo)數(shù)計(jì)算等。因此，通過梯度方法實(shí)現(xiàn)具有學(xué)習(xí)能力的大規(guī)模神經(jīng)

5、網(wǎng)絡(luò)是非常困難的，因?yàn)樘荻鹊尿?qū)動(dòng)機(jī)制是復(fù)雜的。從這個(gè)角度來看，我們必須設(shè)法找到一個(gè)容易實(shí)現(xiàn)的學(xué)習(xí)規(guī)則。同時(shí)擾動(dòng)法是由 Spall[2] [3]， Alespector[4]和 Cauwenberghs [5]等人提出的。Maeda 也獨(dú)立提出了具有同時(shí)擾動(dòng)的神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則并發(fā)表了該規(guī)則實(shí)際應(yīng)用的可行性[6-8]。同時(shí)，學(xué)習(xí)規(guī)則的優(yōu)點(diǎn)在于它可以在 VLSI 中實(shí)現(xiàn)模擬神經(jīng)網(wǎng)絡(luò) [9][10]。同時(shí)擾動(dòng)優(yōu)化法的優(yōu)點(diǎn)是方法簡(jiǎn)單。該方法可以

6、僅使用誤差函數(shù)的值估算出梯度。因此，相比其它的學(xué)習(xí)規(guī)則來講，這種學(xué)習(xí)規(guī)則的應(yīng)用是比較容易立的。這意味著一個(gè)不同的符號(hào)被用于不同的權(quán)重。表示成其中 E 表示期望。誤差函數(shù) 由神經(jīng)網(wǎng)絡(luò)的輸出 o 和一個(gè)相應(yīng)的教學(xué)標(biāo)志 d 定義，表示如 𝐽(𝜔)下：通常情況下，該誤差函數(shù)定義成一個(gè)平方誤差。但是，我們?yōu)楹?jiǎn)化電路而使用絕對(duì)誤差。在這個(gè)學(xué)習(xí)規(guī)則中，網(wǎng)絡(luò)中所有權(quán)重值的修改是由誤差函數(shù)的兩個(gè)值𝐽(

7、20596;)和 計(jì)算所得。網(wǎng)絡(luò)的兩個(gè)前向操作給 - 。將這個(gè)量乘以 𝐽(𝜔 + 𝑐𝑠) 𝐽(𝜔 + 𝑐𝑠) 𝐽(𝜔)（2）。這個(gè)量是對(duì)于 的一個(gè)估計(jì)的誤差函數(shù)的梯度。重復(fù)此為 𝑠𝑖𝑐 ωii=1，…,n，我們更新所有的權(quán)重。當(dāng)我

8、們?cè)?點(diǎn)展開誤差 ，存在 ，使得 ωt 𝐽（𝜔𝑡 + 𝑐𝑠𝑡） ωs1因此， （2）變成我們采取上述數(shù)量的期望。從條件的符號(hào)向量 （3），我們得到 𝑠𝑡也就是說， 接近 。由于（2）的右手側(cè)是第一個(gè)差值系 Δωit а𝐽𝑝（𝜔𝑡） а⼛

9、6;𝑡數(shù)的估計(jì)值，所以學(xué)習(xí)規(guī)則是一種隨機(jī)梯度法[8] [9]。（3） 𝐸(𝑠𝑖𝑡) = 0, 𝐸(𝑠𝑖𝑡𝑠𝑗𝑡) = 0(𝑖 ≠ 𝑗)（4） J（ω） = |o ? d|（5） 𝐽(⼛

10、6;𝑡 + 𝑐𝑠𝑡) = 𝐽(𝜔𝑡) + 𝑐𝑠𝑇𝑡а𝐽(𝜔𝑡)а𝜔 +𝑐22𝑠𝑇𝑡а2𝐽(𝑢(x

11、596;𝑠1))а𝜔2 𝑠𝑡（6）𝛥𝜔𝑖𝑡 = 𝑠𝑖𝑡𝑠𝑇𝑡аJ（𝜔𝑡）а𝜔 +𝑐𝑠𝑖𝑡2 ү