版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進(jìn)行舉報或認(rèn)領(lǐng)
文檔簡介
1、互聯(lián)網(wǎng)的飛速發(fā)展,尤其是各類互聯(lián)網(wǎng)應(yīng)用,如網(wǎng)絡(luò)新聞、電子郵件、電子商務(wù)等的發(fā)展為人們獲取信息提供了便捷,但也同時將人們淹沒在信息的海洋中。對海量的互聯(lián)網(wǎng)應(yīng)用數(shù)據(jù)自動進(jìn)行分類可以有效提高人們獲取信息的效率,進(jìn)而提升決策效率。然而,很多互聯(lián)網(wǎng)應(yīng)用數(shù)據(jù)中某一類別或多個類別對應(yīng)的樣例數(shù)目明顯少于其它類別對應(yīng)的樣例數(shù)目,形成所謂不平衡數(shù)據(jù),如反動新聞與正常新聞、垃圾郵件與正常郵件、異常交易與正常交易等。傳統(tǒng)的基于類別均勻分布假設(shè)所設(shè)計的分類方法以
2、及評價策略通常以整體的準(zhǔn)確率為優(yōu)化目標(biāo),容易忽視其中的少數(shù)類別。而在實際應(yīng)用中,人們經(jīng)常更加關(guān)心少數(shù)類別,如網(wǎng)監(jiān)部門更加希望識別出反動新聞、郵件服務(wù)商希望更好地識別出垃圾郵件、電子商務(wù)平臺希望檢測出其中的異常交易等?;ヂ?lián)網(wǎng)應(yīng)用數(shù)據(jù)的持續(xù)到達(dá)特性以及類別分布的不平衡性為準(zhǔn)確進(jìn)行數(shù)據(jù)分類帶來了諸多困難與挑戰(zhàn)。因而對面向互聯(lián)網(wǎng)應(yīng)用的不平衡數(shù)據(jù)分類技術(shù)進(jìn)行研究具有很強的現(xiàn)實意義和社會價值。
本文從互聯(lián)網(wǎng)應(yīng)用數(shù)據(jù)的特性以及承擔(dān)項目的實際
3、需求出發(fā),遵循由簡單到復(fù)雜的思路,對不同類型的互聯(lián)網(wǎng)應(yīng)用數(shù)據(jù)設(shè)計了相應(yīng)的處理算法。首先從常見的兩類別不平衡數(shù)據(jù)出發(fā),針對其特點及實際應(yīng)用需求,研究了不平衡數(shù)據(jù)預(yù)處理中的噪聲過濾策略和數(shù)據(jù)重采樣方法。之后,將其擴展到多類別(類別數(shù)目多于兩個,但每個樣例只能屬于一個類別)不平衡數(shù)據(jù)應(yīng)用場景,提出了分解策略與數(shù)據(jù)重采樣相結(jié)合的處理方法。之后,進(jìn)一步將前述研究成果拓展應(yīng)用到多標(biāo)簽(不同于多類別,此時同一樣例可以屬于多個類別)不平衡數(shù)據(jù)分類中,設(shè)
4、計了新的集成學(xué)習(xí)框架和基礎(chǔ)分類算法。最后,根據(jù)互聯(lián)網(wǎng)應(yīng)用數(shù)據(jù)持續(xù)到達(dá)的特點,研究了在不平衡數(shù)據(jù)流上的多窗口學(xué)習(xí)策略:
?。?)在兩類別不平衡數(shù)據(jù)的預(yù)處理方面,首先針對不平衡數(shù)據(jù)集中可能存在的噪聲,提出了基于 IPF的改進(jìn)噪聲過濾方法,以盡可能減少噪聲過濾時將少數(shù)類樣例誤判為噪聲的可能性。之后,針對少數(shù)類樣例和多數(shù)類樣例各自的特點,分別設(shè)計了基于近鄰分布的少數(shù)類過采樣算法以及基于距離排序的多數(shù)類欠采樣算法。在此基礎(chǔ)上,針對實際應(yīng)用
5、需求,設(shè)計了少數(shù)類和多數(shù)類之間采樣比例的自適應(yīng)方法,從而減小了數(shù)據(jù)重采樣對后續(xù)處理流程的影響。最后,通過在大量真實數(shù)據(jù)集上的測試驗證了所提方法的有效性,尤其是對于少數(shù)類別分類效果的提升明顯;
?。?)在多類別不平衡數(shù)據(jù)分類方面,針對互聯(lián)網(wǎng)應(yīng)用數(shù)據(jù)的多類別特性,提出分而治之的學(xué)習(xí)策略。首先使用一對多的OVA方法對訓(xùn)練數(shù)據(jù)進(jìn)行分解并訓(xùn)練得到多個子分類器。此時,所有的子分類器都是基于全部類別數(shù)據(jù)訓(xùn)練得到,確保了子分類器的適應(yīng)性。之后,
6、使用一對一的OVO方法對候選類別對應(yīng)的樣例集進(jìn)一步劃分,此階段根據(jù)劃分子集的類別分布決定是否進(jìn)行數(shù)據(jù)重采樣。最后,在采樣后的數(shù)據(jù)子集上訓(xùn)練得到更加細(xì)粒度的子分類器。此外,根據(jù)實際應(yīng)用需求,分別設(shè)計了子分類器輸出值為離散和連續(xù)情形下的不同處理策略。在理論分析的基礎(chǔ)上,對所提方法在多個真實數(shù)據(jù)集上進(jìn)行了測試,結(jié)果表明所提方法能夠有效處理多類別數(shù)據(jù)中存在的不平衡問題;
(3)在多標(biāo)簽不平衡數(shù)據(jù)分類方面,針對已有方法偏重多標(biāo)簽分解而缺
7、乏對標(biāo)簽分布不平衡性考慮的問題,提出了一種多標(biāo)簽不平衡數(shù)據(jù)集成學(xué)習(xí)框架并設(shè)計了相應(yīng)的基礎(chǔ)分類算法。以AdaBoost方法為基礎(chǔ),該框架將標(biāo)簽分布的不平衡特性集成到了各個子分類器的學(xué)習(xí)訓(xùn)練過程中。此外,以多標(biāo)簽神經(jīng)網(wǎng)絡(luò)方法BPMLL為基礎(chǔ),設(shè)計了針對多標(biāo)簽不平衡數(shù)據(jù)的改進(jìn)算法并將其作為集成學(xué)習(xí)框架的基礎(chǔ)分類算法,在多個實際應(yīng)用數(shù)據(jù)集上對分類效果進(jìn)行了測試,表明了所提方法的有效性;
(4)在不平衡數(shù)據(jù)流分類方面,針對互聯(lián)網(wǎng)應(yīng)用數(shù)據(jù)
8、流的動態(tài)特性以及各個類別樣例到達(dá)順序的不確定性,提出了一種基于多窗口機制的集成學(xué)習(xí)方法。該方法根據(jù)不平衡數(shù)據(jù)流的特點,定義了四個不同的窗口分別用于保存當(dāng)前滑動窗口數(shù)據(jù)、最近的少數(shù)類樣例、經(jīng)篩選的子分類器以及子分類器對應(yīng)的歷史窗口數(shù)據(jù)。分別為不同的窗口設(shè)計了不同的更新策略。對于新的測試樣例,其類別標(biāo)簽通過多數(shù)加權(quán)投票確定。通過在多個人工合成數(shù)據(jù)集和真實數(shù)據(jù)集上的測試表明,該方法效果更好,效率更高。
綜上所述,本文針對互聯(lián)網(wǎng)應(yīng)用中
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 眾賞文庫僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負(fù)責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時也不承擔(dān)用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。
最新文檔
- 面向不平衡數(shù)據(jù)集的分類算法研究.pdf
- 面向流數(shù)據(jù)的不平衡樣本分類研究.pdf
- 數(shù)據(jù)挖掘不平衡分類中的特征選擇技術(shù)研究.pdf
- 不平衡數(shù)據(jù)分類問題研究.pdf
- 面向不平衡數(shù)據(jù)集分類的層次引力模型研究.pdf
- 數(shù)據(jù)不平衡分類問題研究.pdf
- 面向互聯(lián)網(wǎng)的中文問題分類技術(shù)研究.pdf
- 面向不平衡數(shù)據(jù)的支持向量機分類方法研究.pdf
- 不平衡數(shù)據(jù)集分類問題研究.pdf
- 半監(jiān)督不平衡數(shù)據(jù)的分類.pdf
- 不平衡數(shù)據(jù)集分類算法的研究.pdf
- 不平衡數(shù)據(jù)的最優(yōu)分類閾值研究.pdf
- 面向不平衡樣本的Boosting分類算法研究.pdf
- 基于過抽樣技術(shù)的不平衡數(shù)據(jù)分類研究.pdf
- 面向不平衡分類的邏輯回歸算法.pdf
- 基于不平衡數(shù)據(jù)的分類方法研究.pdf
- 基于Fisher判別技術(shù)的不平衡數(shù)據(jù)分類算法研究.pdf
- 面向不平衡數(shù)據(jù)的特征選擇與半監(jiān)督分類算法研究.pdf
- 基于不平衡數(shù)據(jù)的情感分類方法研究.pdf
- 基于不平衡數(shù)據(jù)集的文本分類技術(shù).pdf
評論
0/150
提交評論