求解大規(guī)模優(yōu)化問(wèn)題的幾種方法.pdf

1、湖南大學(xué)博士學(xué)位論文求解大規(guī)模優(yōu)化問(wèn)題的幾種方法姓名：肖運(yùn)海申請(qǐng)學(xué)位級(jí)別：博士專(zhuān)業(yè)：應(yīng)用數(shù)學(xué)指導(dǎo)教師：李董輝20070422博士學(xué)位論文A b s t r a c tT h ep u r p o s eo ft h et h e s i s i s t os t u d yn u m e r i c a lm e t h o d sf o rl a r g e - s c a l eU 1 1 -c o n s t r a i n e

2、do p t i m i z a t i o na n d b o u n dc o n s t r a i n e do p t i m i z a t i o n ．W ee s t a b l i s ht h eg l o b a lc o n v e r g e n c eo f t h e s em e t h o d s ．W e a l s ot e s tt h e p r o p o s e dm e t h o d

3、 s t h r o u g ha s e to fl a r g e - s c a l ep r o b l e m s ．I nC h a p t e r 2 ，b a s e do n t h e m o d i f i e dB F G S m e t h o d b y W e i ，L i a n d Q i ，w e p r o -p o s ea l i m i t e dm e m o r y B F G S m e

4、 t h o df o r 。l a r g e - s c a l eu n c o n s t r a i n e do p t i m i z a t i o n ．A g o o df e a t u r e o f t h ep r o p o s e d m e t h o d i st h a t u p d a t e f o r m l l l au s e t h ei n f o r m a t i o no ft

5、 h eg r a d i e n t sa n df u n c t i o n s ．W ep r o v et h a tt h em e t h o di sg l o b a l l yc o n v e r g e n ti ft h eo b j e c t i v ef u n c t i o n i su n i f o r m l y c o n v e x ．N u m e r i c a le x p e r i

6、 m e n t s i n d i c a t e t h a to u r p r o p o s e dm e t h o d o u t p e r f o r m st h e s t a n d a r d l i m i t e dm e m o r y B F G S a l g o r i t h m ．一 I nC h a p t e r 3 ，b a s e d O i lt h en o n l i n e a

7、rc o n j u g a t eg r a d i e n tm e t h o d s p r o p o s e d b yD a i - L i a oa n dL i - T a n g - W e i ，r e s p e c t i v e l y , w e p r e s e n tt w on o n l i n e a rc o n j u g a t eg r a d i -e n tm e t h o d s

8、 ．A n a t t r a c t i v e p r o p e r 鑼o f t h ep r o p o s e dm e t h o d s i st h a tt h e d i r e c t i o n sg e n e r a t e db yt h em e t h o d s a r ea l w a y sd e s c e n t ．T h i sp r o p e r t y i si n d e p e

9、n d e n t w i t ht h el i n e s e a r c hu s e d ．W es h o wt h a tb o t hm e t h o d sa r e g l o b a l l yc o n v e r g e n t e v e nf o rn o n c o n v e x p r o b l e m s ．T h er e p o r t e dn u m e r i c a le x p e

10、r i m e n t s i n d i c a t et h ep e f f o r -m a n c e o ft h ep r o p o s e d m e t h o d si s 嬲w e l la st h a to ft h es t a n d a r dP R P m e t h o d ．I n C h a p t e r4 - 5 ，b yt h e u s eo ft h ea c t i v e s e

11、t i d e n t i f i c a t i o n t e c h n i q u e p r o -p o s e db y F a c c h i n e i ，J f i d i c e ，a n dS o a r e s ，w ep r o p o s e t w o a l g o r i t h m sf o r l a r g e - s c a l eb o u n dc o n s t r a i n e do

12、 p t i m i z a t i o n ．T h em e t h o d i nC h a p t e r 4t a k e s f u l la d v a n t a g eo ft h es t r i c t c o m p l e m e n t a r ya s s u m p t i o n ．B yt h eu 8 eo fb a c k t r a c k i n gt e c h n i q u e ．t h

13、 em e t h o dg e n e r a t e sas e q u e n c eo ff e a s i b l e i t e r a t e s ．T h em e t h o dg i v ei nC h a p t e r5u s e dt h eg r a d i e n tp r o j e c t i o nt e c h n i q u e ．I t W a ss h o w n t h a t ，b o t

14、 h t h ep r o p o s e d a l g o -r i t h m sC a n a d d t o o rd r o pf r o mt h ec u r r e n te s t i m a t e da c t i v es e tm a n y c o n s t r a i n t sa te a c hs t e p ．U n d e r s u i t a b l ec o n d i t i o n s

15、 ，w ee s t a b l i s ht h eg l o b a lc o n v e r g e n c et h e -o r e m ．W ea l s o t e s t t h ep r o p o s e dm e t h o d s t h r o u g ha s e t o fb o u n dc o n s t r a i n e do p t i m i z a t i o np r o b l e m s

16、 ．I nC h a p t e r6 ，t h ed e v e l o p e dm e t h o d i s t h em o d i f i c a t i o n so ft h e s u b s p a c el i m i t e d m e m o r y q u a s i —N e w t o n m e t h o db yN ia n d Y u a n ．A n i m p o r t a n tp r o

17、 p e r t yo ft h en e w a p p r o a c hi st h a tm o r el i m i t e d m e m o r yB F G S u p d a t ea r eu s e d ．E x t e n s i v en u m e r i c a lr e s u l t si n d i c a t et h em o d i f i c a t i o n sa r eb e n e l