神經(jīng)網(wǎng)絡作為分類器的算法研究及在信息檢索中的應用.pdf

1、本文以統(tǒng)計理論為基礎，主要討論在計算機上用軟件模擬實現(xiàn)的神經(jīng)網(wǎng)絡分類器。在綜述了神經(jīng)網(wǎng)絡作為分類器的研究現(xiàn)狀及存在問題的基礎上，著重對構造性學習方法中的覆蓋算法進行深入的探討和改進，以達到縮短學習時間、簡化網(wǎng)絡結構、提高分類精度的目的。主要的研究內容及創(chuàng)新如下： (1)提出了覆蓋算法的概率模型，并利用有限混合模型的極大似然擬合，用期望最大化算法對覆蓋算法進行優(yōu)化處理。將用原覆蓋算法所得到的覆蓋結果看作是一個預處理，將覆蓋某一類樣

2、本的覆蓋數(shù)看作是有限混合模型中的分量數(shù)目，解決了有限混合模型中分量數(shù)目難以估計這一難題，而不是主觀地去估計分量的數(shù)目。某一類樣本有多少個覆蓋，就認為有限混合模型中的分量數(shù)目是多少，將覆蓋某一類樣本的每個覆蓋看成一個Gauss分布，利用混合模型的極大似然擬合，用期望最大化算法來對覆蓋算法進行優(yōu)化處理。擴大了覆蓋算法的應用范圍，模擬結果表明新算法提高了測試精度。 (2)對覆蓋算法中的參數(shù)與測試精度的關系進行了研究。得出的結論如下：當

3、原空間的k維樣本向特征空間的k+1維投影時，超球半徑的大小R與測試精度、拒識樣本數(shù)之間幾乎沒有關系；對覆蓋半徑中參數(shù)n的取值與測試精度關系進行了研究，當n=1/2(即覆蓋半徑取同類樣本中的最大距離與異類樣本中的最小距離的算術平均)時測試精度達到了最高，這相當于SVM中的最優(yōu)超平面；對覆蓋算法中樣本的學習順序與網(wǎng)絡性能的關系進行了分析實驗，實驗結果表明將樣本按類別排序后所得到的網(wǎng)絡，其性能比未排序時所得到的網(wǎng)絡有不同程度的提高。

4、(3)研究了覆蓋算法中覆蓋半徑的大小與識別精度之間的關系。 本文提出通過擴大覆蓋半徑和加入異類點，來減少覆蓋數(shù)目和隱層神經(jīng)元個數(shù)，在網(wǎng)絡規(guī)模盡可能小的情況下，雖然增加了有限的學習時間，但提高了學習的精度。實驗證明PBCA對神經(jīng)網(wǎng)絡的訓練是有效的。 在網(wǎng)絡結構上，提出了由前饋網(wǎng)絡和反饋網(wǎng)絡組成的神經(jīng)網(wǎng)絡的混合結構。前饋網(wǎng)絡完成樣本的第一次分類，用反饋網(wǎng)絡對邊界樣本或拒識樣本進行第二次分類。 對處于“邊界”情況的測試

5、樣本，現(xiàn)有的分類方法一般用“就近原則”進行再分類，或是用“概率最大原則”進行再分類。當最大概率α很低時，按“概率最大原則”進行再分類的錯誤率=1-α將是很大的。而PBCA則體現(xiàn)了概率分布思想，克服了這種缺點，提高了分類的精度。 (4)對覆蓋算法CA、PBCA和FMMCA的應用進行了研究。將它們應用于信息檢索中的中文文本分類。分別用上述三個算法對由復旦大學計算機信息與技術系國際數(shù)據(jù)庫中心自然語言處理小組提供的包含10個類別內容的語