基于閉凸包收縮的非線性分類方法研究.pdf

1、支持向量機(jī)是在統(tǒng)計(jì)學(xué)習(xí)理論基礎(chǔ)上發(fā)展起來的一種全新的機(jī)器學(xué)習(xí)方法，解決了在小樣本情況下的統(tǒng)計(jì)學(xué)習(xí)問題，因此具有良好的泛化能力和推廣性能。通過核函數(shù)的構(gòu)造，支持向量機(jī)也是一種利用線性方法解決非線性問題的學(xué)習(xí)機(jī)，由支持向量機(jī)核心部分，即核函數(shù)所衍生的模式分析的核方法，成為研究非線性學(xué)習(xí)問題的有力的數(shù)學(xué)基礎(chǔ)和研究平臺，核思想降低了對于非線性學(xué)習(xí)問題研究的復(fù)雜性，使得對非線性學(xué)習(xí)問題的研究直接轉(zhuǎn)化為對線性學(xué)習(xí)問題的研究，由此，模式分析的核方法成

2、為指導(dǎo)研究人員研究非線性學(xué)習(xí)問題的方法論。 本文通過對支持向量機(jī)及核思想的深入研究，以及對支持向量機(jī)多類分類方法的對比分析，做了以下幾個(gè)方面的工作： 第一，將線性兩類分類方法--平分最近點(diǎn)法利用核化思想進(jìn)行推廣，轉(zhuǎn)化為非線性分類方法。平分最近點(diǎn)法和支持向量機(jī)具有相同的分類性能和推廣能力，對于相同的兩類數(shù)據(jù)，兩種方法得到的最優(yōu)分類面是相同的，但是平分最近點(diǎn)法具有更簡單的幾何特性和較低的計(jì)算復(fù)雜性。 第二，針對線性不

3、可分問題將閉凸包收縮原理進(jìn)行推廣，轉(zhuǎn)化為非線性數(shù)據(jù)處理的方法。閉凸包收縮原理是一種數(shù)據(jù)預(yù)處理的數(shù)學(xué)手段，通過將兩類數(shù)據(jù)相對于各自的均值中心進(jìn)行一定收縮，從而將兩類數(shù)據(jù)轉(zhuǎn)化為可分?jǐn)?shù)據(jù)，閉凸包收縮原理最初是用來解決線性問題的，本文通過核思想將其推廣，應(yīng)用到非線性問題中來。支持向量機(jī)對于不可分問題是通過軟間隔思想來解決的，即在約束條件中增加一個(gè)松弛項(xiàng)來增強(qiáng)分類器的分類性能。由于平分最近點(diǎn)法的特殊性，本文結(jié)合了閉凸包收縮原理來解決不可分問題，閉

4、凸包收縮原理可以通過選擇適當(dāng)?shù)氖湛s率，將學(xué)習(xí)機(jī)在訓(xùn)練時(shí)的錯(cuò)分率降低為零，因此具有較高的優(yōu)越性和實(shí)用性。 第三，提出了在特征空間中判斷兩類數(shù)據(jù)是否有交叉重疊的分離度量方法，對于多類問題構(gòu)造了分離度量矩陣，利用分離度量，給出了新的較為簡單的確定收縮系數(shù)的條件。對于不同的分類問題，采用什么樣的分類機(jī)，也要根據(jù)相應(yīng)數(shù)據(jù)的具體分布情況來確定，然而現(xiàn)有的大多數(shù)分類方法都沒有提前對此作出判斷，因此具有一定的盲目性。本文提出的分離度量方法，可以

5、通過構(gòu)造分離度量矩陣來判斷各個(gè)類別之間是否具有交叉重疊的樣本，同時(shí)也可以知道交叉重疊的深度。通過這種先驗(yàn)信息的提取，可以減少分類機(jī)選擇的盲目性，也可以改進(jìn)現(xiàn)有的多類分類方法，提高它們的分類性能。 第四，利用閉凸包收縮原理和特征空間分離度量方法對決策樹多類分類算法進(jìn)行了改進(jìn)。由于決策樹多類分類方法的分類性能跟決策樹的結(jié)構(gòu)，尤其是決策樹根節(jié)點(diǎn)的選擇有緊密的聯(lián)系，一般的決策樹分類方法沒有對根節(jié)點(diǎn)的選取做一定的限制，因此相對比較盲目，決