在線AUC優(yōu)化的線性方法研究.pdf

1、AUC是衡量分類算法性能的重要指標之一，被廣泛應用于類不平衡學習、排序?qū)W習、異常檢測和代價敏感學習等任務中。在線學習憑借其處理大規(guī)模數(shù)據(jù)和流數(shù)據(jù)的高效性在機器學習領域受到廣泛關注。針對大數(shù)據(jù)環(huán)境下的AUC優(yōu)化問題，研究者提出了諸多在線AUC優(yōu)化算法。
　　在線AUC優(yōu)化的難點在于AUC優(yōu)化的損失函數(shù)由來自不同類別的兩個樣本構成，這使得依賴于損失函數(shù)之和的目標函數(shù)與訓練樣本數(shù)二次相關，不能直接使用傳統(tǒng)在線學習方法求解。當前的在線AU

2、C優(yōu)化算法聚焦于通過在求解過程中避免直接計算所有的損失函數(shù)，從而減少問題規(guī)模，實現(xiàn)在線AUC優(yōu)化，但其復雜度仍然高于同類型的傳統(tǒng)在線學習算法。如何能使AUC優(yōu)化的目標函數(shù)不再和訓練樣本數(shù)二次相關，僅和訓練樣本數(shù)線性相關，是一個值得研究的問題。
　　基于最小二乘損失函數(shù)，本文提出了一種AUC優(yōu)化的新目標函數(shù)，該目標函數(shù)僅與訓練樣本數(shù)線性相關。理論分析表明，最小化該目標函數(shù)等價于最小化由L2正則化項和最小二乘損失函數(shù)組成的AUC優(yōu)化的

3、目標函數(shù)?；谠撃繕撕瘮?shù)，本文提出了在線AUC優(yōu)化的線性方法（LOAM）。并根據(jù)不同優(yōu)化求解策略，提出兩種算法：一是使用增量式最小二乘法（ILSC）進行優(yōu)化求解的LOAMILSC算法；另一種是使用AdaGrad方法進行優(yōu)化求解的LOAMAda算法。其中，LOAMILSC算法的空間復雜度和每次迭代的復雜度與ILSC算法相同，LOAMAda算法的空間復雜度和每次迭代的時間復雜度與傳統(tǒng)在線梯度下降算法相同；同時，這兩種算法都不需要存儲任何歷史