機(jī)器學(xué)習(xí)中樣本篩選方法的研究與應(yīng)用.pdf

1、伴隨科技的發(fā)展，信息浪潮撲面而來。人們每天聊天、微博、視頻、郵件等會產(chǎn)生大量數(shù)據(jù)信息。這些數(shù)據(jù)中包含了大量有極高價(jià)值的信息。處理這些規(guī)模龐大的數(shù)據(jù)對現(xiàn)有的分析方法和工具來說是巨大的挑戰(zhàn)。處理這些數(shù)據(jù)問題的數(shù)據(jù)挖掘技術(shù)就成了熱門的研究方向。隨著研究的深入，數(shù)據(jù)挖掘技術(shù)也出現(xiàn)了許多具體的分支，機(jī)器學(xué)習(xí)是其中最熱門的分支之一。隨著機(jī)器學(xué)習(xí)技術(shù)和理論的發(fā)展，利用這些機(jī)器學(xué)習(xí)算法進(jìn)行數(shù)據(jù)分析的方案已經(jīng)成功應(yīng)用于某些特定領(lǐng)域，例如車牌識別、網(wǎng)絡(luò)攻擊

2、防范、手寫字符識別、面部識別、信息檢索、社會網(wǎng)絡(luò)和疾病診斷等。
　　但是為了分析數(shù)據(jù)問題，機(jī)器學(xué)習(xí)方法通常需要大量的數(shù)據(jù)集進(jìn)行訓(xùn)練，來發(fā)掘其中的規(guī)律，并建立模型，再使用模型對未知數(shù)據(jù)進(jìn)行預(yù)測分析。盡管在訓(xùn)練算法的優(yōu)化方面有大量的突破，機(jī)器學(xué)習(xí)方法仍然會受到龐大的訓(xùn)練集的困擾，最直接的結(jié)果就是模型訓(xùn)練時間漫長。同時這些未經(jīng)處理的龐大訓(xùn)練集常常包含大量冗余數(shù)據(jù)和離群數(shù)據(jù)。這些多余數(shù)據(jù)是那些對機(jī)器學(xué)習(xí)訓(xùn)練中非關(guān)鍵數(shù)據(jù)點(diǎn)，它們會占用大量計(jì)

3、算資源，使機(jī)器學(xué)習(xí)模型訓(xùn)練過程耗時極長，甚至?xí)绊懽罱K模型的精度。為了解決這些數(shù)據(jù)的質(zhì)量問題，本文研究了現(xiàn)有的樣本縮減算法和離群點(diǎn)檢測算法。并提出了新的樣本縮減策略和改進(jìn)的離群點(diǎn)檢測方法。
　　為了解決數(shù)據(jù)規(guī)模過大的問題，本文提出了殼狀數(shù)據(jù)選擇算法進(jìn)行樣本篩選。該算法利用數(shù)據(jù)集分布并非絕對均勻，在不斷迭代中刪除靠近數(shù)據(jù)集中心向量的的數(shù)據(jù)點(diǎn)。這樣可以近乎完整的保存分布在樣本集的殼形區(qū)中的非冗余數(shù)據(jù)點(diǎn)。在幾乎不降低訓(xùn)練后模型精度的前提

4、下，實(shí)現(xiàn)了減小訓(xùn)練集規(guī)模的目標(biāo)。然后本文結(jié)合殼狀數(shù)據(jù)選擇算法提出了一種改進(jìn)的離群點(diǎn)檢測策略。由于許多傳統(tǒng)的檢測方法較復(fù)雜，無法直接適用于大規(guī)模數(shù)據(jù)集。同時通過分析不難發(fā)現(xiàn)整個數(shù)據(jù)集中大部分都是非離群點(diǎn)，因此傳統(tǒng)的離群點(diǎn)算法浪費(fèi)了大部分時間在遍歷非離群點(diǎn)上。為了減少非離群點(diǎn)的遍歷改進(jìn)的離群點(diǎn)算法首先采用殼狀數(shù)據(jù)選擇算法將大部分非離群點(diǎn)刪去，然后使用二分劃分算法將縮減后的數(shù)據(jù)集劃分成多個子區(qū)域，再對子區(qū)域排序并使用kNN算法來進(jìn)行離群點(diǎn)分析