BP神經(jīng)網(wǎng)絡訓練算法及其應用研究.pdf

1、基于BP學習算法（Back-Propagation Algorithm）的多層前饋型人工神經(jīng)網(wǎng)絡（BP神經(jīng)網(wǎng)絡）及其變形，是當前應用十分廣泛的神經(jīng)網(wǎng)絡模型，在諸如模式分類，預測以及模式識別等實際問題方面顯示出了強大的求解能力。然而，BP神經(jīng)網(wǎng)絡訓練方法在實際應用過程中還存在著學習收斂速度慢，易陷入局部最優(yōu)，訓練失敗率高和大規(guī)模數(shù)據(jù)訓練耗時的問題。一方面，本文通過分析傳統(tǒng)BP算法的優(yōu)缺點，結(jié)合其它領域的技術和理論，提出各種改進算法。另一方

2、面，通過對應用問題的特征分析，結(jié)合BP神經(jīng)網(wǎng)絡的特點，提出新的解決基因調(diào)控網(wǎng)絡重構(gòu)的方法。并重點研究了BP神經(jīng)網(wǎng)絡訓練方法對大規(guī)模生物信息數(shù)據(jù)處理的問題，最后將研究成果應用于蛋白質(zhì)二級結(jié)構(gòu)預測問題和基因調(diào)控網(wǎng)絡重構(gòu)的問題求解上。
　　本論文的主要研究內(nèi)容如下所述：
　　提出了基于反饋誤差放大的神經(jīng)網(wǎng)絡學習算法，該算法能夠使神經(jīng)網(wǎng)絡在訓練過程中盡量少的受飽和區(qū)域的影響，快速向期望精度方向收斂。同時，通過引入口袋算法，保證了該算

3、法的收斂性。實驗結(jié)果顯示，該算法可使結(jié)構(gòu)簡單的神經(jīng)網(wǎng)絡快速向盡可能高的精度收斂，在提高收斂速度的同時，避免了通過增加網(wǎng)絡復雜性來提高收斂精度所引起的網(wǎng)絡泛化能力下降的問題。
　　在誤差放大學習算法的研究基礎上，通過結(jié)合改進的遺傳算法，提出了基于注意力模型的混合學習算法來提高神經(jīng)網(wǎng)絡的訓練成功率。其中，為了更好的利用遺傳算法的尋優(yōu)特性，我們結(jié)合自然界中的進化穩(wěn)定策略改進了傳統(tǒng)的遺傳算法，以提高遺傳算法向全局最優(yōu)解收斂的性能，有效改善

4、了遺傳算法易陷入局部最優(yōu)區(qū)域的問題。
　　建立了神經(jīng)網(wǎng)絡分布式訓練平臺，并提出了基于切片思想的分布式學習算法。借助數(shù)據(jù)分布與階段式訓練來解決 BP神經(jīng)網(wǎng)絡處理大數(shù)據(jù)集時訓練耗時過長的問題。在引入了基于切片思想的分布式學習算法之后，這種分布式訓練策略能有效提高神經(jīng)網(wǎng)絡的訓練效率和成功率，使之更適于解決具有大規(guī)模訓練數(shù)據(jù)的實際應用問題。
　　針對基因表達數(shù)據(jù)噪聲多，樣本少和高度多維的特性，提出了數(shù)據(jù)片斷模式分析的基因調(diào)控網(wǎng)絡建模

5、方法。通過提取時序數(shù)據(jù)片斷中的模式來降低噪聲對基因間調(diào)控關系分析的影響，并使用秩相關分析來進一步提高對噪聲的魯棒性。在此基礎上，我們借助對神經(jīng)網(wǎng)絡混合學習算法的研究，針對基因調(diào)控時延和聯(lián)合調(diào)控的特性，提出了基于片斷模式的基因網(wǎng)絡建模方法。在真實的酵母基因時序表達數(shù)據(jù)，Cdc28數(shù)據(jù)集上的實驗分析結(jié)果表明，由于該方法能較好的保持原始數(shù)據(jù)的信息，屏蔽了部分噪聲的影響，從而在基因網(wǎng)絡的重構(gòu)上具有良好的魯棒性。更重要的是，該方法能有效提取出基因