確定性退火技術(shù)在數(shù)據(jù)挖掘中的應(yīng)用.pdf

1、近年來，數(shù)據(jù)挖掘引起了信息產(chǎn)業(yè)界的極大關(guān)注，其主要原因是存在大量數(shù)據(jù)，可以被廣泛使用，并且迫切需要將這些數(shù)據(jù)轉(zhuǎn)換成有用的信息和知識(shí)。數(shù)據(jù)挖掘主要應(yīng)用模塊有：分類模式；聚類模式；估計(jì)模式；預(yù)測模式。本文主要是針對(duì)其中的分類、聚類和預(yù)測模式進(jìn)行研究。數(shù)據(jù)挖掘的能力大小，取決于挖掘工具的效能。目前，能夠用于解決機(jī)器學(xué)習(xí)問題的方法主要有三種類型，即：模糊規(guī)則的學(xué)習(xí)方法、神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)方法和遺傳進(jìn)化的學(xué)習(xí)方法。而神經(jīng)網(wǎng)絡(luò)具有一些獨(dú)特的優(yōu)點(diǎn)，如非線性

2、映射、容錯(cuò)能力等，因而相對(duì)于其它方法，神經(jīng)網(wǎng)絡(luò)在數(shù)據(jù)挖掘中具有更大的前景，但神經(jīng)網(wǎng)絡(luò)也存在一些問題，比較典型的包括在學(xué)習(xí)算法選擇不當(dāng)時(shí)，系統(tǒng)易陷于局部極優(yōu)狀態(tài)，網(wǎng)絡(luò)的復(fù)雜度與泛化能力之間存在矛盾等等。為了從某種程度上解決以上出現(xiàn)的問題，這兒就提出了按自然法則計(jì)算方法——確定性退火技術(shù)，應(yīng)用到數(shù)據(jù)挖掘中。 確定性退火技術(shù)是根據(jù)退火過程，將求解優(yōu)化問題的最優(yōu)點(diǎn)轉(zhuǎn)化為求一系列隨溫度變化的物理系統(tǒng)的自由能函數(shù)的極小，它能夠使算法避開局部

3、極小而得到全局極小。該算法利用了信息論中極大熵原理，使算法以較小的規(guī)模得到較好的最優(yōu)解。確定性退火技術(shù)一方面是一退火過程，可用來求解全局最優(yōu)解，另一方面又不同于模擬退火算法用Metropolis抽樣準(zhǔn)則來模擬系統(tǒng)的平衡態(tài)，而是在固定的溫度下利用確定的優(yōu)化方法求解自由能函數(shù)的極小，對(duì)系統(tǒng)的平衡態(tài)進(jìn)行模擬。因此，利用確定性退火技術(shù)的求解方法要比模擬退火算法的速度要快。但確定性退火技術(shù)在不同問題的應(yīng)用中，由于它物理系統(tǒng)建立的聯(lián)系不同，因此確定

4、性退火技術(shù)中自由能函數(shù)的選取也不同，從而試圖給出自由能函數(shù)的一般選取方法將是十分困難。 因而，本文結(jié)合這兩種算法的優(yōu)點(diǎn)，提出了將確定性退火技術(shù)和神經(jīng)網(wǎng)絡(luò)技術(shù)相結(jié)合的方法，而RBF神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)速度、網(wǎng)絡(luò)計(jì)算速度優(yōu)于其他常用的神經(jīng)網(wǎng)絡(luò)，用確定性退火技術(shù)進(jìn)行聚類和使之來優(yōu)化RBF神經(jīng)網(wǎng)絡(luò)參數(shù)的中心和網(wǎng)絡(luò)寬度，使它有對(duì)初始值的選取不敏感的優(yōu)點(diǎn)，且利用到概率問題，可以很好克服系統(tǒng)存在死節(jié)點(diǎn)問題，這樣不僅保證每種方法各自的優(yōu)點(diǎn)，同時(shí)使得改