神經(jīng)網(wǎng)絡(luò)作為分類器的算法研究及在信息檢索中的應(yīng)用.pdf

1、本文以統(tǒng)計(jì)理論為基礎(chǔ)，主要討論在計(jì)算機(jī)上用軟件模擬實(shí)現(xiàn)的神經(jīng)網(wǎng)絡(luò)分類器。在綜述了神經(jīng)網(wǎng)絡(luò)作為分類器的研究現(xiàn)狀及存在問(wèn)題的基礎(chǔ)上，著重對(duì)構(gòu)造性學(xué)習(xí)方法中的覆蓋算法進(jìn)行深入的探討和改進(jìn)，以達(dá)到縮短學(xué)習(xí)時(shí)間、簡(jiǎn)化網(wǎng)絡(luò)結(jié)構(gòu)、提高分類精度的目的。主要的研究?jī)?nèi)容及創(chuàng)新如下： (1)提出了覆蓋算法的概率模型，并利用有限混合模型的極大似然擬合，用期望最大化算法對(duì)覆蓋算法進(jìn)行優(yōu)化處理。將用原覆蓋算法所得到的覆蓋結(jié)果看作是一個(gè)預(yù)處理，將覆蓋某一類樣

2、本的覆蓋數(shù)看作是有限混合模型中的分量數(shù)目，解決了有限混合模型中分量數(shù)目難以估計(jì)這一難題，而不是主觀地去估計(jì)分量的數(shù)目。某一類樣本有多少個(gè)覆蓋，就認(rèn)為有限混合模型中的分量數(shù)目是多少，將覆蓋某一類樣本的每個(gè)覆蓋看成一個(gè)Gauss分布，利用混合模型的極大似然擬合，用期望最大化算法來(lái)對(duì)覆蓋算法進(jìn)行優(yōu)化處理。擴(kuò)大了覆蓋算法的應(yīng)用范圍，模擬結(jié)果表明新算法提高了測(cè)試精度。 (2)對(duì)覆蓋算法中的參數(shù)與測(cè)試精度的關(guān)系進(jìn)行了研究。得出的結(jié)論如下：當(dāng)

3、原空間的k維樣本向特征空間的k+1維投影時(shí)，超球半徑的大小R與測(cè)試精度、拒識(shí)樣本數(shù)之間幾乎沒(méi)有關(guān)系；對(duì)覆蓋半徑中參數(shù)n的取值與測(cè)試精度關(guān)系進(jìn)行了研究，當(dāng)n=1/2(即覆蓋半徑取同類樣本中的最大距離與異類樣本中的最小距離的算術(shù)平均)時(shí)測(cè)試精度達(dá)到了最高，這相當(dāng)于SVM中的最優(yōu)超平面；對(duì)覆蓋算法中樣本的學(xué)習(xí)順序與網(wǎng)絡(luò)性能的關(guān)系進(jìn)行了分析實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果表明將樣本按類別排序后所得到的網(wǎng)絡(luò)，其性能比未排序時(shí)所得到的網(wǎng)絡(luò)有不同程度的提高。

4、(3)研究了覆蓋算法中覆蓋半徑的大小與識(shí)別精度之間的關(guān)系。 本文提出通過(guò)擴(kuò)大覆蓋半徑和加入異類點(diǎn)，來(lái)減少覆蓋數(shù)目和隱層神經(jīng)元個(gè)數(shù)，在網(wǎng)絡(luò)規(guī)模盡可能小的情況下，雖然增加了有限的學(xué)習(xí)時(shí)間，但提高了學(xué)習(xí)的精度。實(shí)驗(yàn)證明PBCA對(duì)神經(jīng)網(wǎng)絡(luò)的訓(xùn)練是有效的。 在網(wǎng)絡(luò)結(jié)構(gòu)上，提出了由前饋網(wǎng)絡(luò)和反饋網(wǎng)絡(luò)組成的神經(jīng)網(wǎng)絡(luò)的混合結(jié)構(gòu)。前饋網(wǎng)絡(luò)完成樣本的第一次分類，用反饋網(wǎng)絡(luò)對(duì)邊界樣本或拒識(shí)樣本進(jìn)行第二次分類。 對(duì)處于“邊界”情況的測(cè)試

5、樣本，現(xiàn)有的分類方法一般用“就近原則”進(jìn)行再分類，或是用“概率最大原則”進(jìn)行再分類。當(dāng)最大概率α很低時(shí)，按“概率最大原則”進(jìn)行再分類的錯(cuò)誤率=1-α將是很大的。而PBCA則體現(xiàn)了概率分布思想，克服了這種缺點(diǎn)，提高了分類的精度。 (4)對(duì)覆蓋算法CA、PBCA和FMMCA的應(yīng)用進(jìn)行了研究。將它們應(yīng)用于信息檢索中的中文文本分類。分別用上述三個(gè)算法對(duì)由復(fù)旦大學(xué)計(jì)算機(jī)信息與技術(shù)系國(guó)際數(shù)據(jù)庫(kù)中心自然語(yǔ)言處理小組提供的包含10個(gè)類別內(nèi)容的語(yǔ)