RBF和MLP神經(jīng)網(wǎng)絡(luò)逼近能力的幾個結(jié)果.pdf

1、神經(jīng)網(wǎng)絡(luò)的理論和方法在過去的十幾年發(fā)展極為迅速，它的應(yīng)用范圍涉及到工程、計算機、物理、生物、經(jīng)濟(jì)、管理等科學(xué)領(lǐng)域．人們應(yīng)用神經(jīng)網(wǎng)絡(luò)進(jìn)行聚類分析、智能控制、模式識別和優(yōu)化計算等等．然而，許多問題的研究都要轉(zhuǎn)化為用迭代的神經(jīng)網(wǎng)絡(luò)逼近函數(shù)的問題．該問題在數(shù)學(xué)上可以解釋成，用一元函數(shù)的復(fù)合來表示多元函數(shù)，這也是希爾伯特的第十三個猜想． 本文主要基于神經(jīng)網(wǎng)絡(luò)的非線性逼近性質(zhì)，來研究徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)的逼近能力問題，包括函數(shù)逼近問題、強逼近

2、問題以及算子逼近問題． 即：函數(shù)集合在C(K)(或L<'p>(K))中的稠密問題，在C(K)(或L<'p>(K))中緊集上的稠密問題以及算子空間T：L<'p>(K<,1>)→L<'P2>(K<,2>)的逼近問題．這里c<,i>，λ<,i> ∈R<,i>， x，y<,i>∈R<'n>，i=1，2，…，N，K，K<,1>，K<,2>С R<'n>為任意緊集，1≤p，p<,1>，p<,2><∞，激活函數(shù)夕常常取作高斯函數(shù)．函數(shù)集合F<

3、,1>又常常稱作是RBF神經(jīng)網(wǎng)絡(luò)的數(shù)學(xué)表達(dá)形式． 同時本文也研究了一般前饋網(wǎng)絡(luò)對于完備線性距離空間中緊集上的函數(shù)逼近能力，即：如果日是由以‖·‖<,H>為范數(shù)的所有函數(shù)構(gòu)成的完備線性距離空間，V СH為一個緊集，函數(shù)族在V中稠密問題．這里∑λ<,j>g(T<,j>(x))是輸入x的輸出，λ<,j>是第j個隱單元到輸出單元的權(quán)值，g是激活函數(shù)．T<,j>(x)是第j個隱單元的輸入值，它是由輸入層以及輸入層到第j個隱單元之間的權(quán)值決

4、定的．根據(jù)不同類型的前饋網(wǎng)絡(luò)，T<,j>(x)具有不同的數(shù)學(xué)表達(dá)形式． 第一章回顧一些有關(guān)神經(jīng)網(wǎng)絡(luò)的背景知識，其中包括近十幾年的前饋神經(jīng)網(wǎng)絡(luò)逼近結(jié)果． 第二章介紹本文中需要的泛函分析和廣義函數(shù)的基礎(chǔ)知識，例如：基本函數(shù)空間和廣義函數(shù)空間的關(guān)系，基本函數(shù)的支集和廣義函數(shù)的支撐，以及基本函數(shù)和廣義函數(shù)的卷積，等等． 第三章主要討論徑向基神經(jīng)網(wǎng)絡(luò)的逼近問題，包括一般函數(shù)逼近問題，強逼近問題和算子逼近問題．這些結(jié)果推廣了