半監(jiān)督支持向量機(jī)學(xué)習(xí)算法研究.pdf

1、支持向量機(jī)是Vapnik等在統(tǒng)計(jì)學(xué)習(xí)理論基礎(chǔ)上發(fā)展起來的針對(duì)小樣本的新型機(jī)器學(xué)習(xí)方法。該方法由于具有較強(qiáng)的泛化能力、方便對(duì)高維數(shù)據(jù)操作而得到了日益廣泛的研究和應(yīng)用。傳統(tǒng)的基于監(jiān)督學(xué)習(xí)的分類方法，雖然能夠有效地解決各種實(shí)際問題，但是需要手工對(duì)大量樣本進(jìn)行標(biāo)記以獲取足夠的訓(xùn)練樣本，代價(jià)高，效率低。因此，根據(jù)實(shí)際需要研究人員又提出了基于半監(jiān)督學(xué)習(xí)的分類方法。這類方法能夠自動(dòng)（或半自動(dòng)）地對(duì)有標(biāo)簽樣本和無標(biāo)簽樣本的混合樣本集進(jìn)行數(shù)據(jù)分類，在提高

2、效率的同時(shí)擴(kuò)大了算法的適用范圍。然而，半監(jiān)督支持向量機(jī)學(xué)習(xí)是機(jī)器學(xué)習(xí)領(lǐng)域中相對(duì)比較新的理論，它在很多方面尚不成熟、不完善，需要進(jìn)一步地研究和改進(jìn)。本文主要從半監(jiān)督支持向量機(jī)兩分類學(xué)習(xí)算法、基準(zhǔn)學(xué)習(xí)算法以及多分類學(xué)習(xí)算法三方面對(duì)半監(jiān)督支持向量機(jī)學(xué)習(xí)算法展開研究，充分發(fā)揮半監(jiān)督支持向量機(jī)的優(yōu)勢和潛力。
　　 首先，針對(duì)半監(jiān)督支持向量機(jī)學(xué)習(xí)算法訓(xùn)練時(shí)間代價(jià)大的問題，提出最小二乘支持向量機(jī)半監(jiān)督學(xué)習(xí)算法。在迭代過程中以最小二乘支持向量機(jī)

3、為學(xué)習(xí)模型，充分利用和發(fā)揮最小二乘支持向量機(jī)學(xué)習(xí)算法訓(xùn)練速度快、效率高等優(yōu)點(diǎn)提高半監(jiān)督支持向量機(jī)算法的訓(xùn)練速度。然后，采用區(qū)域標(biāo)注法對(duì)無標(biāo)簽樣本進(jìn)行迭代的標(biāo)注，提高無標(biāo)簽樣本的標(biāo)注效率，在迭代過程中將有標(biāo)簽樣本集和半標(biāo)記樣本集一同進(jìn)行訓(xùn)練。仿真實(shí)驗(yàn)結(jié)果表明，最小二乘支持向量機(jī)半監(jiān)督學(xué)習(xí)算法可以有效的降低訓(xùn)練時(shí)間。
　　 其次，針對(duì)由局部最優(yōu)化引起的半監(jiān)督支持向量機(jī)學(xué)習(xí)算法在同一數(shù)據(jù)集上參數(shù)敏感、最優(yōu)解差異大，以及基于全局最優(yōu)化技

4、術(shù)的基準(zhǔn)學(xué)習(xí)算法時(shí)間復(fù)雜度高的問題，提出一種改進(jìn)的分枝定界半監(jiān)督支持向量機(jī)學(xué)習(xí)算法。該算法重新對(duì)結(jié)點(diǎn)的下界進(jìn)行定義，將偽對(duì)偶函數(shù)的值作為結(jié)點(diǎn)的下界，避免了計(jì)算量較大的0-1二次規(guī)劃，降低了各結(jié)點(diǎn)計(jì)算下界的時(shí)間復(fù)雜度；同時(shí)，依據(jù)無標(biāo)簽樣本的樣本可信度確定分枝結(jié)點(diǎn)，避免了多次支持向量機(jī)訓(xùn)練，提高了算法的訓(xùn)練速度。仿真實(shí)驗(yàn)分析表明該算法同其它半監(jiān)督支持向量機(jī)學(xué)習(xí)算法相比具有精度高、參數(shù)不敏感的優(yōu)點(diǎn)，并且具有較快的訓(xùn)練速度。本文利用多主機(jī)協(xié)同訓(xùn)

5、練實(shí)現(xiàn)算法的并行化，提出一種分枝定界半監(jiān)督支持向量機(jī)并行學(xué)習(xí)算法，仿真實(shí)驗(yàn)表明該算法具有較好的加速比，在訓(xùn)練速度上有明顯的提升。
　　 最后，針對(duì)半監(jiān)督學(xué)習(xí)中有標(biāo)簽樣本數(shù)據(jù)較少，多分類問題實(shí)施困難，多分類精度低的問題，提出一種半監(jiān)督支持向量數(shù)據(jù)域描述多分類學(xué)習(xí)算法。算法通過定義非目標(biāo)樣本的隸屬度得到非目標(biāo)樣本的接受標(biāo)簽與拒絕標(biāo)簽，在此基礎(chǔ)上采用半監(jiān)督支持向量數(shù)據(jù)域描述學(xué)習(xí)算法構(gòu)造多個(gè)超球體，將一個(gè)k分類問題轉(zhuǎn)化為k個(gè)單分類問題，