改進(jìn)的多分塊凸優(yōu)化問題的交替方向乘子法.pdf

1、在這個信息快速增長的時代，越來越多的實(shí)際問題需要依靠數(shù)據(jù)分析去解決，而問題相關(guān)的數(shù)據(jù)量也越來越大。此時，能夠處理大規(guī)模數(shù)據(jù)的統(tǒng)應(yīng)用統(tǒng)計(jì)和機(jī)器學(xué)習(xí)方法就顯得格外重要。交替方向乘子法(the Alternating Direction Method of Multipliers;ADMM)是一個在應(yīng)用統(tǒng)計(jì)和機(jī)器學(xué)習(xí)領(lǐng)域的常用算法，它能夠?qū)⒋笮蛦栴}分解為可數(shù)個子問題，利用分布式系統(tǒng)實(shí)現(xiàn)大數(shù)據(jù)問題的求解。依靠針對大規(guī)模數(shù)據(jù)計(jì)算的優(yōu)勢， ADMM

2、算法近年來成了一個研究熱點(diǎn)。原始的ADMM算法是用來解決目標(biāo)函數(shù)為兩部分的凸優(yōu)化問題。然而，很多實(shí)際問題所涉及到的凸優(yōu)化問題，目標(biāo)函數(shù)由三個及以上的部分組成，這樣就出現(xiàn)了針對多分塊凸優(yōu)化問題的ADMM推廣算法。本文總結(jié)了兩種ADMM推廣算法(DADMM, BADMM)的原理及其收斂性結(jié)論，在此基礎(chǔ)上提出了一個新的針對多分塊凸優(yōu)化問題的ADMM推廣算法——TADMM(Triple-group extension Alternating D

3、irection Method of Multipliers for Multiple-block Convex Programming)，討論了它的收斂性情況，給出了一個收斂充分條件——存在兩個分組后的系數(shù)矩陣正交。新的算法保持了BADMM的優(yōu)勢，并且能在目標(biāo)函數(shù)分組時提供更多的選擇。在數(shù)值試驗(yàn)中，選擇了兩個多分塊凸優(yōu)化問題對算法進(jìn)行試驗(yàn)，其中算例1為圖像修復(fù)領(lǐng)域的常用模型。實(shí)驗(yàn)結(jié)果顯示：相對于BADMM算法，TADMM算法在收斂速度