多代價敏感的反傳神經(jīng)網(wǎng)絡(luò)優(yōu)化研究.pdf

1、傳統(tǒng)的反向傳播神經(jīng)網(wǎng)絡(luò)(BPNN)學(xué)習(xí)以分類錯誤最小為目標，通常假定在分類錯誤時所有樣本的代價完全相同。但基于這種假設(shè)構(gòu)造的BPNN在進行分類時，即使是很少的失誤也可能付出慘重的代價。因而，以樣本集的整體誤分類代價最小為研究目標，已經(jīng)成為當(dāng)今BPNN及決策支持系統(tǒng)構(gòu)造的研究熱點。
　　 目前，代價敏感的BPNN研究一般考慮一種代價，通過調(diào)整樣本分布、修改樣本類別或修正BPNN的誤差函數(shù)進行學(xué)習(xí)。這些學(xué)習(xí)方法存在的主要缺點有：(1

2、)單一代價假設(shè)不符合現(xiàn)實存在的多種代價的實際情況;(2)以誤分類綜合代價最低為目標難于同時兼顧分類精度和分類代價。
　　 考慮到存在大量的無法用綜合代價替代多種代價的情形，給出了一種兼顧分類精度和多種分類代價的BPNN學(xué)習(xí)方法，既不用調(diào)整樣本的分布或樣本的類別，也不用修改BPNN的誤差評價函數(shù)。該學(xué)習(xí)方法以遺傳算法為基礎(chǔ)，將分類誤差或多種分類代價同時作為優(yōu)化目標，應(yīng)用Pareto最優(yōu)理論進行多目標優(yōu)化，尋找分類精度和誤分類代價均

3、為最優(yōu)的BPNN。
　　 為了避免遺傳算法陷入局部最優(yōu)，采用了小生境共享適應(yīng)度的策略，以得到更多樣化的BPNN。為了能夠自動確定小生境的半徑或范圍，基于心理學(xué)關(guān)于分布均勻的判定策略，給出了一種在多目標空間中確定分布均勻拐點的新方法，并據(jù)此設(shè)計了可自動計算小生境范圍的遺傳算法。
　　 考慮到大量的輸入屬性可能導(dǎo)致復(fù)雜的BPNN，研究了用啟發(fā)式方法和并行窮舉方法約簡屬性的方法。啟發(fā)式方法采用遺傳算法進行屬性約簡，除了存在于選

4、擇操作的適應(yīng)度啟發(fā)函數(shù)外，還在變異操作中以信息熵為基礎(chǔ)構(gòu)造了啟發(fā)函數(shù)；窮舉方法基于循環(huán)隊列自底向上約簡，通過剪枝有效地提高了屬性約簡集的窮舉速度。
　　 由于屬性約簡和多代價敏感的BPNN學(xué)習(xí)需要大量的計算，研究在P2P網(wǎng)絡(luò)環(huán)境下進行并行計算是必要的。采用面向?qū)ο蟮募夹g(shù)開發(fā)了多代價敏感的BPNN分類系統(tǒng)，并用公共數(shù)據(jù)集UCI中的數(shù)據(jù)和真實數(shù)據(jù)進行了實驗，真實數(shù)據(jù)來自863目標導(dǎo)向項目“基于網(wǎng)格的數(shù)字化醫(yī)療決策支持系統(tǒng)”的臨床數(shù)據(jù)