基于最大條件概率的單依賴分類器聚合算法研究.pdf

1、盡管樸素貝葉斯分類算法足夠簡(jiǎn)單，它仍表現(xiàn)出了極好的分類性能。然而作為其核心思想的條件獨(dú)立性假設(shè)，在真實(shí)應(yīng)用中卻很少能夠被滿足?；趩我蕾嚪诸惼鞯木酆纤惴ㄗ鳛閷?duì)樸素貝葉斯模型的一類改進(jìn)模型，很好地削弱了特征間的獨(dú)立性假設(shè)，并在分類準(zhǔn)確度和模型方差等評(píng)價(jià)指標(biāo)上表現(xiàn)突出。然而現(xiàn)有的聚合模型都過分強(qiáng)調(diào)單個(gè)子模型的分類性能對(duì)整個(gè)聚合模型的影響，而忽略了全局優(yōu)化的重要性。
　　基于全局優(yōu)化的假設(shè)，本文提出了基于最大條件概率(Condition

2、al LogLikelihood)的單依賴聚合(Ensemble super parent One Dependence Estimator)模型(EODE-CLL)。首先采用最大條件概率作為全局優(yōu)化的目標(biāo)，它在機(jī)器學(xué)習(xí)中常被用來作為目標(biāo)函數(shù)而進(jìn)行參數(shù)計(jì)算，核心思想是最合理的參數(shù)應(yīng)該使得從模型空間中抽取出樣本數(shù)據(jù)的概率最大，相比以擬合樣本數(shù)據(jù)為核心的最小二乘法等，能夠避免模型的過擬合。其次提出兩層權(quán)重結(jié)構(gòu):除了作為線性組合的第一層權(quán)重外

3、，在每個(gè)子模型內(nèi)部還提出了區(qū)分不同特征重要性的第二層權(quán)重，引入第二層權(quán)重結(jié)構(gòu)在子模型進(jìn)行局部?jī)?yōu)化，過濾低相關(guān)特征，突出高相關(guān)特征，從而使各個(gè)子模型充分最優(yōu)。最后采用隨機(jī)梯度下降法求解最優(yōu)解，它是機(jī)器學(xué)習(xí)中常被用來求解參數(shù)的迭代方法，計(jì)算簡(jiǎn)單高效，求解過程中只需計(jì)算目標(biāo)函數(shù)對(duì)參數(shù)的偏導(dǎo)，還衍生出了批量隨機(jī)梯度下降法和分布式隨機(jī)梯度下降法，具有很好的擴(kuò)展性。此外，本文提出的EODE-CLL模型是一個(gè)有監(jiān)督的聚合模型，具有較強(qiáng)的表達(dá)能力，通過