在劃分?jǐn)?shù)據(jù)空間的視角下基于決策邊界的分類器研究.pdf

1、分類器是機(jī)器學(xué)習(xí)的一項(xiàng)重要技術(shù)。分類器研究中存在映射和劃分兩種視角。在映射視角下分類模型可被看作從數(shù)據(jù)空間到標(biāo)簽集的映射,分類器的訓(xùn)練過(guò)程可被看作在假設(shè)空間中搜索最優(yōu)假設(shè)的過(guò)程。在劃分視角下分類模型可被看作將數(shù)據(jù)空間劃分成若干決策區(qū)域的一組決策邊界,分類器的訓(xùn)練過(guò)程可被看作劃分?jǐn)?shù)據(jù)空間獲得決策邊界的過(guò)程。映射視角是主流,在映射視角下研究分類器的工作很多。目前還沒有在劃分視角下對(duì)分類器進(jìn)行系統(tǒng)研究的工作。本文在劃分視角下以決策邊界為工具對(duì)

2、分類器進(jìn)行研究,進(jìn)行構(gòu)建在劃分?jǐn)?shù)據(jù)空間視角下以決策邊界研究分類器的理論框架和基于此理論框架改進(jìn)分類器兩方面的研究。
　　 本文的研究工作主要有:
　　 1)提出了決策邊界、決策區(qū)域和概率梯度區(qū)域的定義。提出了獲取決策邊界的形式化方法和采樣法。提出了決策邊界點(diǎn)集(Decision Boundary Point Set,簡(jiǎn)稱DBPS)算法、決策邊界2D網(wǎng)格點(diǎn)集(Decision Boundary Point Set usin

3、g Grid for2-D data,簡(jiǎn)稱DBPSG-2D)算法和決策邊界神經(jīng)元集(Decision Boundary Neuron Set,簡(jiǎn)稱DBNS)算法來(lái)獲取決策邊界附近的采樣點(diǎn)。提出了基于自組織映射的決策邊界可視化(Self-OrganizingMapping based Decision Boundary Visualization,簡(jiǎn)稱SOMDBV)算法和基于自組織映射的概率梯度區(qū)域可視化(Self-Organizing

4、Mapping based Probability Gradient RegionsVisualization,簡(jiǎn)稱SOMPGRV)算法來(lái)分別對(duì)決策邊界和概率梯度區(qū)域進(jìn)行可視化。
　　 2)提出了在劃分?jǐn)?shù)據(jù)空間視角下基于決策邊界的分類器三要素九因素理論框架。在此理論框架下,劃分目標(biāo)、決策邊界形式和劃分方法是分類器的三要素。劃分目標(biāo)需要考慮訓(xùn)練準(zhǔn)確率、錯(cuò)分樣本特征和決策邊界的微位置三個(gè)因素;決策邊界形式需要考慮劃分能力、提供的領(lǐng)域

5、知識(shí)和可理解性三個(gè)因素;劃分方法需要考慮利用的信息、劃分方式和分類模型復(fù)雜度三個(gè)因素。
　　 3)提出了基于K近鄰(K nearest Neighbors,簡(jiǎn)稱KN)類型的錯(cuò)分樣本特征。KN類型根據(jù)樣本與其K近鄰之間的類別關(guān)系,將樣本分為S類、DS類和D類三類。C4.5算法、Naive Bayes分類器和支持向量機(jī)(Support Vector Machine,簡(jiǎn)稱SVM)三個(gè)分類器與K近鄰(K Nearest Neighbor

6、s,簡(jiǎn)稱KNN)算法在KN類型上的錯(cuò)分樣本特征有著顯著不同。提出了組合KNN算法和C4.5算法/Naive Bayes分類器/SVM的K近鄰組合(Knearest Neighbors Combining,簡(jiǎn)稱KNC)算法。KNC算法使用KNN算法來(lái)對(duì)S類和DS類樣本進(jìn)行預(yù)測(cè),使用其他三個(gè)分類器對(duì)D類樣本進(jìn)行預(yù)測(cè)。
　　 4)研究了離散化算法對(duì)分類器決策邊界的影響。提出了離散化算法能夠提高NaiveBayes分類器泛化能力的原因在

7、于離散化算法能夠提高Naive Bayes分類器的Vapnik-Chervonenkis(VC)維。將離散化算法應(yīng)用于SVM和KNN算法,并研究了離散化算法對(duì)SVM和KNN算法的VC維的影響。
　　 5)提出了在Naive Bayes分類器的決策區(qū)域內(nèi)訓(xùn)練分類器的二次劃分(SecondDivision,簡(jiǎn)稱SD)算法,并對(duì)現(xiàn)有的局部分類器訓(xùn)練算法進(jìn)行研究。SD算法是一種組合全局學(xué)習(xí)和局部學(xué)習(xí)的算法,因此能夠提高Naive Bay