面向不平衡二分類準(zhǔn)則的稀疏模型構(gòu)造算法研究.pdf

1、社會的進(jìn)步，科學(xué)的發(fā)展，給人們生活帶來了日新月異的變化。與此同時各種數(shù)據(jù)信息的不斷積累，在方便人們的同時，也帶來了新的挑戰(zhàn)。如何從這些大量數(shù)據(jù)中發(fā)現(xiàn)有用信息成為當(dāng)前急需解決的迫切問題。機器學(xué)習(xí)的出現(xiàn)為解決上述挑戰(zhàn)提供了一種有效的手段，其中的分類學(xué)習(xí)特別是二分類學(xué)習(xí)由于在眾多領(lǐng)域的廣泛應(yīng)用更是成為當(dāng)前的研究熱點。然而在現(xiàn)實的生活中，很多應(yīng)用（如網(wǎng)絡(luò)搜索引擎、個性化推薦系統(tǒng)等）都是不平衡二分類問題，且具有數(shù)據(jù)維度高的特點，已有面向小數(shù)據(jù)的傳

2、統(tǒng)二分類算法很難直接應(yīng)用在上述問題中。對此，近些年有學(xué)者提出研究直接優(yōu)化不平衡準(zhǔn)則的稀疏二分類模型構(gòu)造算法，并取得了較好的效果。但這些研究考慮的不平衡準(zhǔn)則都是AUC或F1等簡單易分解的標(biāo)準(zhǔn)，對于其他較復(fù)雜的不平衡準(zhǔn)則，如何獲得相應(yīng)的稀疏模型，則研究較少。本文就是在這樣的背景下，主要研究了面向復(fù)雜不平衡準(zhǔn)則的稀疏模型構(gòu)造算法。
　　全文的主要工作如下:
　　(1)文中從二分類學(xué)習(xí)入手，首先介紹了傳統(tǒng)二分類和不平衡二分類在評估準(zhǔn)

3、則的差異，然后總結(jié)了面向不平衡二分類算法的研究現(xiàn)狀，重點分析了不平衡稀疏模型構(gòu)造算法的進(jìn)展，在此基礎(chǔ)上，提出研究基于L1范式的復(fù)雜不平衡稀疏模型構(gòu)造算法。
　　(2)不同于已有不平衡稀疏模型構(gòu)造算法多關(guān)注AUC或F1等簡單準(zhǔn)則，本文研究了面向復(fù)雜不可分QM準(zhǔn)則的稀疏模型構(gòu)造算法。算法首先定義了基于QM的新目標(biāo)函數(shù)，針對該目標(biāo)非光滑難以直接優(yōu)化，提出使用割平面算法進(jìn)行求解，不僅解決上述問題，且算法的外圍迭代次數(shù)僅為O(1/ε)。不平

4、衡基準(zhǔn)數(shù)據(jù)集上的實驗結(jié)果表明，當(dāng)用QM為評價標(biāo)準(zhǔn)時，本文提出的算法不僅有很好的精度還有較高的稀疏度。
　　(3)針對已有不平衡稀疏模型構(gòu)造算法都采用批學(xué)習(xí)，當(dāng)面對大規(guī)模數(shù)據(jù)集時，計算效率較差，本文提出一種基于隨機學(xué)習(xí)的稀疏模型構(gòu)造算法。更具體的說，我們關(guān)注的不是某一個具體的不平衡標(biāo)準(zhǔn)，而是具有一類通用特性（如偽線性）的評價準(zhǔn)則。文中首先將直接優(yōu)化偽線性準(zhǔn)則問題變成一個代價敏感問題。針對新問題，如果直接使用隨機梯度法求解難以獲得滿意