帶馬爾科夫鏈的隨機(jī)最優(yōu)控制問(wèn)題及其在金融中的應(yīng)用.pdf

1、本篇論文主要研究了帶馬爾科夫鏈的隨機(jī)最優(yōu)控制問(wèn)題，及其在金融中的應(yīng)用。在理論方面，主要研究了與帶馬爾科夫鏈模型相關(guān)的最優(yōu)控制理論，如隨機(jī)最大值原理，動(dòng)態(tài)規(guī)劃原理以及它們之間的關(guān)系。然后，我們將得到的理論結(jié)果應(yīng)用于金融數(shù)學(xué)問(wèn)題，如股票交易問(wèn)題，證券投資組合，效用最大化問(wèn)題，最優(yōu)投資-消費(fèi)問(wèn)題等。
　　在實(shí)際中，很多現(xiàn)象或系統(tǒng)都具有狀態(tài)轉(zhuǎn)移或者趨勢(shì)改變的性質(zhì)。對(duì)于這種情形，數(shù)學(xué)上，我們一般使用馬爾科夫鏈來(lái)刻畫(huà)。例如，在股票市場(chǎng)中，市場(chǎng)

2、可以分為牛市和熊市，市場(chǎng)在這兩種趨勢(shì)之間轉(zhuǎn)換。在牛市中，股票的收益率是正的，波動(dòng)率較小，而在熊市中，股票的收益率是負(fù)的，波動(dòng)率也較大。此時(shí)，我們可以使用一個(gè)兩狀態(tài)的馬爾科夫鏈來(lái)描述，一個(gè)狀態(tài)代表牛市，一個(gè)狀態(tài)代表熊市，使股票價(jià)格方程依賴于這個(gè)馬爾科夫鏈。馬爾科夫鏈狀態(tài)的轉(zhuǎn)移，代表著市場(chǎng)趨勢(shì)的改變。從這個(gè)例子我們可以看出，馬爾科夫鏈可以較好地模擬現(xiàn)實(shí)環(huán)境的隨機(jī)變化，研究帶馬爾科夫鏈的隨機(jī)最優(yōu)控制問(wèn)題是有實(shí)際意義的。
　　相比于傳統(tǒng)的

3、擴(kuò)散模型，帶馬爾科夫鏈模型主要具有以下兩方面的優(yōu)勢(shì)。首先，在理論方面，模型所含有的馬爾科夫鏈可以更加直接地描述影響系統(tǒng)的行為中那些不頻繁變化但是對(duì)系統(tǒng)長(zhǎng)期趨勢(shì)有重要影響的因素和事件。例如上面的股票市場(chǎng)的例子，牛市與熊市的市場(chǎng)參數(shù)（收益率和波動(dòng)率等）明顯不同，傳統(tǒng)的擴(kuò)散模型就不能方便有效的反映這一現(xiàn)象，當(dāng)引入馬爾科夫鏈以后，就可以使得股票價(jià)格的走勢(shì)和波動(dòng)情況依賴于市場(chǎng)行情的變化。此外，在處理期權(quán)定價(jià)，證券投資組合等問(wèn)題中，帶馬爾科夫鏈的模

4、型也有廣泛應(yīng)用。然后，在數(shù)值計(jì)算方面，帶馬爾科夫鏈模型也具有優(yōu)勢(shì)。首先，當(dāng)我們使用動(dòng)態(tài)規(guī)劃原理時(shí)，帶馬爾科夫鏈模型的隨機(jī)最優(yōu)控制問(wèn)題具有簡(jiǎn)明的Hamilton-Jacobi-Bellman(HJB)方程，方便我們使用一些有效便捷的科學(xué)計(jì)算方法來(lái)處理。其次，在做計(jì)算處理時(shí)，帶馬爾科夫鏈模型只要求有限數(shù)據(jù)輸入。仍以股票市場(chǎng)為例，我們只需要輸入在不同狀態(tài)下股票的收益率和波動(dòng)率，以及馬爾科夫鏈的轉(zhuǎn)移速率矩陣。由此可見(jiàn)，帶馬爾科夫鏈的隨機(jī)最優(yōu)控制

5、問(wèn)題具有理論和計(jì)算兩方面的優(yōu)勢(shì)。
　　下面我們給出本文的主要內(nèi)容和結(jié)構(gòu)框架。
　　在第一章中，我們研究了帶馬爾科夫鏈模型下的最優(yōu)轉(zhuǎn)換控制問(wèn)題，及其在股票交易問(wèn)題中的應(yīng)用。我們首先得到了該問(wèn)題的動(dòng)態(tài)規(guī)劃原理以及HJB方程，然后證明了問(wèn)題的值函數(shù)是對(duì)應(yīng)HJB方程的唯一粘性解。同時(shí)，最優(yōu)轉(zhuǎn)換策略也由HJB方程的障礙部分給出，決定了在何時(shí)和往何處轉(zhuǎn)換是最優(yōu)的。當(dāng)馬爾科夫鏈具有雙時(shí)間尺度結(jié)構(gòu)時(shí)，我們證明了相應(yīng)的收斂性結(jié)果。最后，我們將

6、在最優(yōu)轉(zhuǎn)換控制的框架下來(lái)研究股票交易問(wèn)題，并利用數(shù)值計(jì)算給出了最優(yōu)交易規(guī)則和最優(yōu)收益。特別地，我們將利用雙時(shí)間尺度馬爾科夫鏈來(lái)模擬股票市場(chǎng)中的長(zhǎng)期趨勢(shì)和短期趨勢(shì)，收斂性結(jié)果也被驗(yàn)證。
　　在第二章中，我們研究了隨機(jī)離開(kāi)時(shí)間和不完備市場(chǎng)下的連續(xù)時(shí)間均值-方差證券投資組合選擇問(wèn)題。我們首先將均值-方差問(wèn)題構(gòu)造成為一個(gè)帶終端期望限制的線性二次最優(yōu)控制問(wèn)題。然后，由隨機(jī)線性二次控制理論，我們的均值-方差問(wèn)題就會(huì)歸結(jié)為兩個(gè)倒向隨機(jī)微分方程(

7、BSDEs)的可解性問(wèn)題。其中一個(gè)是隨機(jī)Riccati方程，另一個(gè)是輔助BSDE。我們將使用BMO-鞅理論來(lái)給出一個(gè)對(duì)于上述兩個(gè)BSDEs可解性的簡(jiǎn)潔有效的證明。隨后，我們利用這兩個(gè)倒向方程的解，給出了最優(yōu)投資組合的線性反饋形式。
　　在第三章中，我們研究了帶馬爾科夫鏈和泊松跳的正倒向隨機(jī)系統(tǒng)的最優(yōu)控制問(wèn)題。首先利用對(duì)偶方法，建立了最優(yōu)控制的充分性隨機(jī)最大值原理。接下來(lái)，我們研究了它與動(dòng)態(tài)規(guī)劃原理的關(guān)系，建立了伴隨過(guò)程、一般哈密頓

8、函數(shù)以及值函數(shù)之間的關(guān)系。最后，我們將得到的理論結(jié)果應(yīng)用于一個(gè)帶終端財(cái)富限制的現(xiàn)金流估值問(wèn)題，并利用馬爾科夫鏈的性質(zhì)和一些分析技術(shù)得到了顯式的最優(yōu)策略。
　　在第四章中，我們研究了帶馬爾科夫鏈的超前-延遲正倒向隨機(jī)系統(tǒng)的最優(yōu)控制問(wèn)題的必要性最大值原理。我們先由凸變分方法給出了系統(tǒng)的變分方程，以及一些相關(guān)估計(jì)，這就使得我們可以推導(dǎo)出變分不等式。然后，我們給出了相應(yīng)的伴隨方程。根據(jù)變分不等式的形式，以及伴隨方程，我們就得到了必要性最大

9、值原理。同時(shí)，我們還證明了，在某些凸性假設(shè)下，必要性最大值原理也會(huì)變成充分性條件。最后，我們研究了一類遞歸效用投資-消費(fèi)選擇問(wèn)題，并給出了顯式的最優(yōu)消費(fèi)率。
　　接下來(lái)，我們給出本篇論文的主要結(jié)論。
　　1.帶馬爾科夫鏈模型下的最優(yōu)轉(zhuǎn)換問(wèn)題及其在股票交易問(wèn)題中的應(yīng)用
　　記（Ω，F(xiàn)，P）是一個(gè)概率空間，上面定義了一個(gè)標(biāo)準(zhǔn)的1-維的布朗運(yùn)動(dòng)B(t)，t≥0和一個(gè)馬爾科夫鏈α(t)，t≥0。假設(shè)B(·)和α(·)是獨(dú)立的。

10、馬爾科夫鏈取值于一個(gè)有限的狀態(tài)空間M={1,…，M}。記Q=（λpq）p，q∈M是α(·)的生成元。記{Ft}t≥0是由B(·)和α(·)生成的并完備化的信息族。
　　考慮一個(gè)1-維的混合擴(kuò)散(αp(·)，Xp，x(·))，其初始狀態(tài)是(p，x)∈M×R{ dXp,x（t)=b（αp（t)，Xp,x（t)）dt+σ（αp（t)，Xp，x（t)）dB（t)， t≥0，Xp,x(0=x),αp(0)=p.
　　記N={1，…，N

11、}是轉(zhuǎn)換控制的狀態(tài)集合。一個(gè)轉(zhuǎn)換控制定義為一序列停時(shí)-狀態(tài)對(duì)（((Τ))n，ξn）n≥1，其中((Τ))n是一列遞增的停時(shí)，ξn是F((Τ))n-可測(cè)的隨機(jī)變量，取值于N，記轉(zhuǎn)換控制過(guò)程為Ii(t)=i1[0，((Τ))1）(t)+∑n≥1ξn1[((Τ))n,((Τ))n+1）(t)，t≥0，其中1A是集合A的示性函數(shù)。
　　總回報(bào)函數(shù)定義為J(i，p，x，Ii(·))=E[∫∞0 e-ρtf(Ii(t)，αp(t)，Xp，x(

12、t))dt-∞∑n=1e-ρ((Τ))ngξn-1，ξn]，其中ρ＞0是折現(xiàn)因子。我們記Ai是全體初始狀態(tài)為i的容許轉(zhuǎn)換控制的全體。
　　我們定義值函數(shù)為v(i,p,x)=sup Ii(·)∈Ai J(i,p,x,Ii(·)),(0.0.1)我們也記v(i,p，x)為vi，p(x)。下面的定理給出了帶馬爾科夫鏈模型下的最優(yōu)轉(zhuǎn)換問(wèn)題的動(dòng)態(tài)規(guī)劃原理。
　　定理0.1.假設(shè)(H1.1)-(H1.3)，則對(duì)任意的(ip，x)∈N×M

13、×R和停時(shí)θ，我們有v(i，p，x)=sup Ii(·)∈Ai E[∫θ0 e-ρtf(Ii(t)，αp(t)，Xp,x(t))dt+e-ρθv(Ii(θ)，αp（θ），Xp.x（θ））-∑((Τ))n≤θ e-p((Τ))ngξn-1，ξn].問(wèn)題對(duì)應(yīng)的HJB方程（或稱變分不等式系統(tǒng)）如下min{ρvi,p(x)-Lpvi,p(x)-f(i，p，x）-∑q≠pλpq(vi,q(x)-vi,p(x))，vi，p(x)-max j≠i{v

14、j，p(x)-gij}}=0，(0.02)其中Lp=b(p，x)(a)/(ax)+1/2σ2(p，x）(a)2/(a)x2。
　　下面的兩個(gè)定理給出了關(guān)于方程(0.0.2)的粘性解的存在唯一性結(jié)果。
　　定理0.2.在假設(shè)(H1.1)-(H1.3)下，由(0.0.1)定義的值函數(shù)vi，p(x)是HJB方程(0.0.2)的粘性解。
　　定理0.3.在假設(shè)(H1.1)-(H1.3)下，記ui，p(x)(相應(yīng)地，vi，p(x

15、))是(0.0.2)的一個(gè)粘性下解（相應(yīng)地，上解）且滿足線性增長(zhǎng)條件，則我們有ui，p(x)≤vi，p(x）。
　　然后，我們假設(shè)馬爾科夫鏈αε(·)具有雙時(shí)間尺度結(jié)構(gòu)，其生成元Qε=（λεpq）結(jié)構(gòu)為Qε=1/ε(Q)+(Q)，其中，(Q)=（λpq），(Q)=（(λ)pq）。假設(shè)αε(·)的狀態(tài)空間是M=M1∪…∪ML，其中Mk={sk1，…，skmk}，k=1，…，L，M=m1+…+mL。此外，(Q)結(jié)構(gòu)為{(Q)1…(Q)

16、L}使(Q)k對(duì)于Mk也是一個(gè)生成元，對(duì)任意的k=1,…，L。對(duì)應(yīng)的極限變分不等式系統(tǒng)是min{ρvi，k(x)-(L)kvi，k(x)-(f)（i，k，x）-∑q≠k(λ)kq(vi，q(x)-vi，k(x))，vi，k(x)-max{vj，k(x)-gij}=0，(0.0.3)其中，(L)k=(b)（k，x）(a)/(a)x+1/2(σ)2（k，x）(a)2/(a)x2。
　　定理0.4.對(duì)任意k=1，…，L和l=1,…，mk

17、，我們有vε i,skl(x)→(v)i，k(x)。此外，(v)i，k(x)是極限變分不等式系統(tǒng)(0.0.3)的唯一粘性解。
　　然后我們將理論結(jié)果應(yīng)用于股票交易問(wèn)題。股票價(jià)格為{dXp,x(t)=b(αp(t))Xp,x(t)dt+σ(αp(t))Xp,x(t)dB(t)， t≥0,Xp,x(0)=x，αp(0)=p，(0.0.4)其中，αp(·)是一個(gè)馬爾科夫鏈，取值于M={1，2，…，M}，x和p是股票價(jià)格和馬爾科夫鏈的初始

18、狀態(tài)。在這里，b(p），p∈M，是期望回報(bào)率，σ(p），p∈M代表股票的波動(dòng)率。
　　記{((Τ))n}n≥1是一列遞增的停時(shí)序列，代表轉(zhuǎn)換控制:在((Τ))n時(shí)刻進(jìn)行買(mǎi)賣(mài)股票。我們?nèi)={0，1}。在這里，狀態(tài)0代表不持有股票，狀態(tài)1代表持有1份股票。如果i=0（初始時(shí)刻不持有股票），那么交易員在((Τ))1時(shí)刻買(mǎi)入股票，然后在((Τ))2時(shí)刻賣(mài)出，再在((Τ))3時(shí)刻買(mǎi)入股票，然后在((Τ))4時(shí)刻賣(mài)出，依此類推。另一方面，如

19、果i=1（初始時(shí)刻有1份股票），那么交易員在((Τ))1時(shí)刻先將股票賣(mài)出，然后在(Τ)2時(shí)刻買(mǎi)入，再在(Τ)3時(shí)刻賣(mài)出，依此類推。記股票的交易策略（從狀態(tài)i∈N開(kāi)始）為Ii(t)=i1[0，(Τ)1)(t)+∑n≥1ξn1[(Τ)n，(Τ)n+1）(t)，t≥0，并記Ai為交易策略的全體。
　　目標(biāo)是選擇一列{(Τ)n}n≥1，最大化收益J(i，p，x，Ii(·))={E[e-ρ(Τ)2（X（(Τ)2）-K)-e-ρ(Τ)1（X（

20、(Τ)1）+K）+ e-ρ(Τ)4(X((Τ)4)-K)-e-ρ(Τ)3（X（(Τ)3)+K)+…], i=0,E[e-ρ(Τ)1（X（(Τ)1）-K）+ e-ρ(Τ)3（X（(Τ)3）-K）-e-ρ(Τ)2（X（(Τ)2）+K）+…]， i=1，(0.0.5)其中K是交易費(fèi)。此外，定義v(i，p，x)=supIi(·)∈AiJ(i，p，x，Ii(·))。
　　我們考慮一個(gè)新問(wèn)題，具有與(0.0.4)相同的動(dòng)態(tài)，不過(guò)要最大化一個(gè)新

21、目標(biāo)(J)(i，p，x，Ii(·))={Ee-ρ(Τ)2（X（(Τ)2）-K）-e-ρ(Τ)1(X((Τ)1)+K)+e-ρ(Τ)4（X（(Τ)4）-K）-e-ρ(Τ)3(X((Τ)3)+K)+…]， i=0，E[e-ρ(Τ)1(X((Τ)1)-K）-(X(0)+K)+e-ρ(Τ)3（X（(Τ)3）-K）-e-ρ(Τ)2（X（(Τ)2）+K）+…]， i=1，(0.0.6)并定義(v)(i，p，x)=supIi(·)∈Ai(J)(i p

22、，x，Ii(·))。
　　注意到新問(wèn)題(0.0.6)與原始問(wèn)題(0.0.5)具有相同的最優(yōu)交易策略。此外，v(0,p,x)=(v)(0,p,x), v(1,p,x)=(v)(1,p,x)+x+K.經(jīng)過(guò)一個(gè)變換，我們就會(huì)看到目標(biāo)泛函(0.0.6)可以寫(xiě)成(J)(i，p，x，Ii(·))=E[∫∞0 e-ρtf(Ii(t)，αp(t)，Xp，x(t))dt-∞∑n=1 e-ρ(Τ)ngξn-1，ξn].從而，對(duì)應(yīng)于現(xiàn)在的情形，變分不等

23、式(0.0.2)具有下面的形式min{ρ(v)i，p(x)-b(p)x(a)/(a)x(v)i，p(x)-1/2σ2(p)x2(a)2/(a)x2(v)i，p(x)-f(i，p，x)-∑q≠pλpq((v)i，q(x)-(v)i，p(x))，(v)i，p(x)-(v)i，p(x)+gij}=0，基于此，我們就可以計(jì)算值函數(shù)和最優(yōu)股票交易規(guī)則。
　　2.隨機(jī)離開(kāi)時(shí)間和不完備市場(chǎng)下的均值-方差證券投資組合問(wèn)題
　　假設(shè)T＞0是一

24、個(gè)有限時(shí)間區(qū)間的終點(diǎn)。（Ω，A，{Ft}t∈[0，T]，P）是一個(gè)完備的概率空間。記(B)(t)=(B(t)',W(t)')'=(B1(t)，…，Bm(t),W1(t)，…，Wd(t))'，m≥1，d≥0是一個(gè)定義在這個(gè)概率空間上的(m+d)-維的標(biāo)準(zhǔn)布朗運(yùn)動(dòng)。我們進(jìn)一步的假設(shè)信息族{Ft}t∈[0，T]滿足FT(∈) A，且是由(B)(t)生成的。
　　考慮一個(gè)投資人在時(shí)間t投資自己總資產(chǎn)x(t)中的ui(t)于第i種證券，i=

25、0，1,…，m。那么，投資人的資產(chǎn)滿足下面的SDE，其中x0是初始資產(chǎn):{dx(t)={r(t)x（t)+b（t)u（t)}dt+u(t)'σ(t)dB(t)， t∈[0，T]，x(0)=x0＞0，其中b(t)=(μ1(t)-r(t)，…，μm(t)-r(t))。我們稱一個(gè)投資組合u(t)是容許的，如果u(t)∈U:=L2F（0，T;Rm）。
　　假設(shè)投資人的離開(kāi)時(shí)間(Τ)-是一個(gè)關(guān)于A可測(cè)的正的隨機(jī)變量，其中A有可能比F(Τ)大

26、。假設(shè)投資期限是T，在此之后投資人就不可以繼續(xù)進(jìn)行投資。因此，投資人的實(shí)際離開(kāi)時(shí)間就是T∧(Τ)。他的目標(biāo)是，對(duì)于一個(gè)給定的z∈R，尋找一個(gè)終端收益滿足E[x(T∧(Τ))]=z的容許控制u(t)，使得終端風(fēng)險(xiǎn)（用終端收益的方差來(lái)表示）Var[x(T∧(Τ))]=E[x(T∧(Τ))-E[x(T∧(Τ)-)]]2=E[x(T∧(Τ))-z]2最小化。
　　利用分離方法和一些隨機(jī)分析技術(shù)，我們將這個(gè)隨機(jī)離開(kāi)時(shí)間和不完備市場(chǎng)下的均值-

27、方差問(wèn)題構(gòu)造成如下的一個(gè)帶限制的隨機(jī)線性二次控制問(wèn)題。
　　定義0.1.假設(shè)(H2.1)，(H2.2)，和(H2.3)成立，則隨機(jī)離開(kāi)時(shí)間和不完備市場(chǎng)下的均值-方差證券投資組合問(wèn)題被構(gòu)造成為一個(gè)以z∈R為參數(shù)的受約束的隨機(jī)線性二次最優(yōu)控制問(wèn)題:{最小化JMV(u(·))=E[∫T0 a(s)(x(s)-z)2ds+（1-F（T））(x(T)-z)2]，對(duì)應(yīng)于{J1(u(·))=E[∫T0 a(s)x(s)ds+(1-F(T))x(

28、T)]=z,(x(·)，u(·))是容許的.(0.0.7)
　　注意到我們的均值-方差問(wèn)題帶有限制J1(u(·))=z，在解決了可行性問(wèn)題以后，我們使用拉格朗日乘子法來(lái)處理這個(gè)限制。對(duì)于所有的λ∈R，我們定義J(u(·)，λ)=JMV(u(·))+2λ(J1(u(·))-z）=E[∫T0 a(s)(x(s)+（λ-z））2ds+(1-F(T))(x(T)+（λ-z））2]-λ2.第一個(gè)目標(biāo)是處理下面的這個(gè)以λ為參數(shù)的不帶限制的問(wèn)題

29、:{最小化J(u(·)，λ)，對(duì)應(yīng)于(x(·)，u(·))是容許的.(0.0.8)這是一個(gè)標(biāo)準(zhǔn)的隨機(jī)線性二次最優(yōu)控制問(wèn)題，
　　我們引入下面的兩個(gè)BSDEs:{dp=[-2a+(-2r+|θ|2)p+2θ'Λ1+Λ'1Λ1/p] dt+Λ'1dB+Λ'2dW,p(T)=2(1-F(T)),p（t)＞0， t∈[0，T]，(0.0.9)和{dh=[-2a/p+（r+2a/p）h+θ'η1-Λ'2/pη2]dt+η'1dB+η'2dW

30、,h(T)=1,t∈[0，T].(0.0.10)(0.0.9)就是所謂的隨機(jī)Riccati方程(SRE)，(0.0.10)是輔助BSDE。我們將使用BMO-鞅理論來(lái)證明上述兩個(gè)方程的可解性，即以下兩個(gè)定理。
　　定理0.5.假設(shè)(H2.1)-(H2.3)成立。則SRE(0.0.9)有解(p，Λ）∈L∞F(Ω;C(0，T;R))×L2F(0，T;Rm+d)，且滿足k≤p≤K，其中K＞k＞0。此外，∫t0Λ(s)'d(B)(s)是一個(gè)

31、BMO-鞅。
　　定理0.6.假設(shè)(H2.1)-(H2.3)。給定一個(gè)SRE(0.0.9)的解(p，Λ)N，則BSDE(0.0.10)存在唯一解（h，η）∈L2F（Ω;C（0，T;R）×L2F(0，T; Rm+d)。而且，對(duì)于所有的t∈[0，T]，我們有0＜h(t)≤1。此外，如果r(t)＞0，a.e.t∈[0,T]，則對(duì)所有的t∈[0，1），有0＜h(t)＜1。
　　確定了上述兩個(gè)BSDEs的可解性后，就可以解出不受限問(wèn)題

32、(0.0.8)。最后，根據(jù)不受限問(wèn)題的解，就能給出原始問(wèn)題(0.0.7)的解?？梢钥闯?，最優(yōu)的投資組合是一個(gè)線性狀態(tài)反饋的形式，終端最小風(fēng)險(xiǎn)Va4[x*(T∧(Τ)-)]關(guān)于終端財(cái)富z是一個(gè)二次函數(shù)。
　　定理0.7.假設(shè)(H2.1)-(H2.3)和條件(2.3.2)成立。則我們有1/2p(0)h2(0)+Δ-1＜0.此外，對(duì)應(yīng)于z的一個(gè)最優(yōu)投資組合（具有反饋控制的形式），由下式給出u*(t)=uλ*(t)=-(σ(t)σ（t)'

33、）-1[（b（t)'+σ(t）Λ1(t)/p(t))（xλ*（t)+（λ*-z）h（t)）+（λ*-z）σ（t)η1(t）]， t∈(0，T]，其中λ*-z=2z-p(0)h(0)x0/p(0)h2(0)+2Δ-2.最優(yōu)的財(cái)富過(guò)程x*(t)=xλ*（t)， t∈[0，T]，由方程(2.5.1）的解給出，對(duì)應(yīng)于uλ*(t)。此外，在滿足限制E[x（T∧(Τ)）]=z的所有的財(cái)富過(guò)程x(·)中，終端財(cái)富方差Varx(T∧(Τ))]的最優(yōu)值是

34、Var[x*（T∧(Τ)）]=p(0)h2(0)+2△/2-2△-p(0)h2(0)(z-p(0)h(0)/p(0)h2(0)+2△x0)2+p(0)△/p(0)h2(0)+2Δx20.
　　3.帶馬爾科夫鏈和泊松跳的正倒向系統(tǒng)的最大值原理及其在金融中的應(yīng)用
　　記（Ω，F(xiàn)，{Ft}t∈[0，T],P）是一個(gè)完備的概率空間，上面定義了一個(gè)標(biāo)準(zhǔn)的1-維的布朗運(yùn)動(dòng)，一個(gè)連續(xù)時(shí)間馬爾科夫鏈，和一個(gè)泊松隨機(jī)測(cè)度。馬爾科夫鏈α(t)的

35、狀態(tài)空間是S={α1，α2,...，αD}，其中D∈N，αi∈RD，且第j個(gè)分量是δij，對(duì)于每一個(gè)i，j=1，2，...，D。
　　對(duì)應(yīng)于控制u(t)∈U∈R的狀態(tài)過(guò)程(X(t),Y(t),Z(t)，(Z)(t，e)，(Z)(t))∈R4×RD由下面的FBSDE給出:{dX(t)=b(t，X(t)，u(t)，α(t))dt+σ（t，X（t)，u（t)，α（t)）dB(t)+∫ε(σ)(t，X(t)，u(t)，α(t)，e)(N)

36、(dt，de)+<(σ)(t，X(t)，u(t)，α(t))，d（Φ）(t)>，-dY(t)=f(t，Θ(t)，u(t)，α(t))dt-Z(t)dB(t)-∫ε(Z)(t，e)(N)(dt，de)-，X(0)=x0， Y（T）=μX（T），(0.0.11)其中，μ∈R是一個(gè)給定的常數(shù)，b，σ，(σ)，(σ)，f是給定的具有合適維數(shù)的函數(shù)。在這里，為了方便起見(jiàn)，我們記Θ(t)=(X(t)，Y(t)，Z(t))。<

37、br>　　考慮如下的評(píng)價(jià)指標(biāo):J(u(·))=E[∫T0 l(t，Θ(t)，u(t)，α(t))dt+g(X(T)，α(T))+h(Y(0))，(0.0.12)其中l(wèi)，g，h是給定的具有合適維數(shù)的函數(shù)。我們的最優(yōu)控制問(wèn)題是:尋找一個(gè)容許控制u*(·)∈(U)使得J(u*(·))=infu(·)∈(U) J(u(·))。
　　記θ代表（x，y，z），記R代表所有的函數(shù)r:ε(→)R。定義哈密頓函數(shù)H:[0，T]×R3×U×S× R3

38、×R×RD(→)R為H(t，θ，u，αi，φ，ψ，ψ，(ψ)，(ψ）=b（t，x，u，αi）ψ+σ（t，x，u，αi）ψ+∫ε(σ)(t，x，u，αi，e)(ψ)v(de)+∑Dj=1(σ)j（t,x，u，αi）(ψ)jλij+f（t，θ，u，αi）φ+l(t，θ，u，αi）。我們假設(shè)哈密頓函數(shù)H關(guān)于θ是可微的。在引入伴隨方程(3.2.3)后，我們就可以得到下面的充分性隨機(jī)最大值原理。
　　定理0.8.記u*∈(U)，對(duì)應(yīng)的方程

39、(0.0.11)的解是（X*，Y*，Z*，(Z)*，(Z)*），假設(shè)伴隨方程(3.2.3)的解（φ，ψ*，ψ*，(ψ)*，(ψ)*）使得對(duì)所有的u∈(U)，有E∫T0(X(t)-X*(t))2[ψ*(t)2+∫ε(ψ)*（t,e）2v（de）+(ψ)*(t)'Diag(λ(t))(ψ)*(t)]dt＜∞，E∫T0（Y（t)-Y*（t)）2[(a)f/(a)z(t，Θ*，u*，α)2+(a)l/(a)z（t，Θ*，u*，α）2]dt＜∞，

40、E∫T0φ*(t)2[Z(t)2+∫ε(Z)(t,e)2v（de）+(Z)(t)'Diag(λ(t))(Z)(t)]dt＜∞,E∫T0ψ*(t)2[σ(t，X，u，α)2+∫ε(σ)（t,X，u，α，e）2v(de)+(σ)（t，X， u，α）'Diag（λ（t)）(σ)（t，X，u，α）dt＜∞.
　　為了符號(hào)方便，我們記H（t，θ，u）=H(t,θ，u，α(t)，φ*(t)，ψ*(t)，ψ*(t)，(ψ)*(t，e)，(ψ)*

41、(t))。此外，我們假設(shè)下面的條件成立
　　條件1.對(duì)于所有的t∈[0，T]，H(t，Θ*(t)，u*(t))=infu∈UH(t，Θ*(t)，u）。
　　條件2.對(duì)于每一個(gè)固定的t∈[0，T]，H（t，θ）=infu∈UH（t，θ，u）存在并且是一個(gè)關(guān)于θ的凸函數(shù)。
　　條件3.函數(shù)g(x，αi)和h（y）是凸的，對(duì)于每一個(gè)αi，i=1，2，…，D。
　　則u*是一個(gè)最優(yōu)控制，(X*，Y*，Z*，(Z)*，(Z

42、)*)是對(duì)應(yīng)的最優(yōu)狀態(tài)過(guò)程。
　　接下來(lái)，我們將建立最大值原理與動(dòng)態(tài)規(guī)劃原理之間的關(guān)系。我們首先將代價(jià)泛函(0.0.12)簡(jiǎn)化為J(u(·))=Y(0)，并記J(t,x，αi;u(·))=Y(t)，其中(t,x，αi)代表初始時(shí)間和初始狀態(tài)，即X(t)=x，α(t)=αi。并且，定義V(t，x，αi)=inf u(·)∈u J(t，x，αi;u(·)).我們得到值函數(shù)V(t,x，αi)滿足下面的HJB方程:{0=-(a)v/(a)

43、t（t,x,αi）+sup u∈U G(t,x,-v(t,x,αi)，-(a)v/(a)x(t,x,αi），-(a)2v/(a)x2(t,x，αi)，u,αi），μx=V(T，x，αi），其中，對(duì)于每一個(gè)αi，關(guān)于v∈C1，2（[0，T]×R）的一般哈密頓函數(shù)G定義為(3.4.2)。則我們有下面的定理。
　　定理0.9.假設(shè)V(t，x，αi)∈C1，2（[0，T]×R），對(duì)于每一個(gè)αi∈S。記u*是最優(yōu)控制，(X*，Y*，Z*，(

44、Z)*，(Z)*)是相應(yīng)的最優(yōu)狀態(tài)過(guò)程。則對(duì)于所有的s∈[t，T]，我們有(a)V/(a)s(s，X*，α)=G（s，X*，-V（s，X*，α），-(a)V/(a)x(s，X*，α)，-(a)2V/(a)x2(s，X*，α)，u*，α）.此外，如果V(t，x，αi)∈C1，3([0，T]×R)，我們定義下列過(guò)程:φ*(s)=exp{∫s t[(a)f/(a)y(r，Θ*，u*，α)-1/2(a)f/(a)z(r，Θ*，u*，α)2]dr

45、+∫s t(a)f/(a)z(r，Θ*，u*,α)dB}，ψ*(s)=(aV)/(a)x（s，X*，α）φ*(s)，Ψ*(s)=[(a)2V/(a)x2(s，X*，α)σ（s，X*，u*，α）+(a)V/(a)x(s，X*，α)(a)f/(a)z(s，Θ*，u*，α）]φ*(s)，(Ψ)*(s，e)=[(a)V/(a)x(s，X*+(σ)（s,u*，α，e），α）-(a)V/(a)x(s，X*，α）]φ*(s)，(ψ)*j(s)=[(a

46、)V/(a)x(s，X*+(σ)j（s，u*，α），αj）-(a)V/(a)x(s,X*，α)]φ*(s)，j=1，2，...,D.則(φ*(s)，ψ*(s)，ψ*(s)，(ψ)*(s，e)，(ψ)*(s))就是伴隨過(guò)程且滿足FBSDE(3.2.3)。
　　最后，我們應(yīng)用最大值原理解決一個(gè)帶馬爾科夫鏈和泊松跳的金融市場(chǎng)中的帶終端財(cái)富限制的現(xiàn)金流估值問(wèn)題。由拉格朗日乘子法，我們將問(wèn)題構(gòu)造如下。最小化:J(c(·)，u(·))=E[-

47、∫T0 e-∫t0β(s，α(s))dsU(c(t)X(t))dt+δ/2(X(T)-d）2+θ(Y(0)-x0）]，其中，c(t)是委托人的提取回報(bào)率，作為控制的一部分。代理人的財(cái)富過(guò)程X(t)由下面的SDE給出{dX(t)=[r(t，α(t))X(t)+Π(t，α(t))u(t)]dt+σ(t,α(t))u(t)dB(t)+∫ε(σ)(t,α(t),e)u(t)(N)(dt,de),X(0)=x0，其中，u(t)是代理人的投資策略，

48、作為控制的另一部分。委托人的效用Y(t)由下面的倒向隨機(jī)微分方程給出{-dY(t)=[k(t,α(t))Y(t)-c(t)X(t)]dt-Z(t)dB(t)-∫ε(Z)(t,e)(N)(dt,de)-<(Z)(t),d(φ)(t)>,Y(T)=0.利用馬爾科夫鏈的性質(zhì)和鞅表示定理，我們可以顯式地解出上述問(wèn)題的最優(yōu)策略，即下面的定理。
　　定理0.10.帶終端財(cái)富限制的現(xiàn)金流估值問(wèn)題（3.5.3）的最優(yōu)控制策略由下面給出:c*(t）

49、=θ*1/γ-1e1/1-γ∫t0[k(s，α(s))-β(s，α(s))]dsX*(t)-1，u*(t)=-Λ(t，α(t))-1Π(t，α(t))[X*(t)+q(t,α(t))/p(t,α(t))]，其中θ*由(3.5.23)給出，p(t，α(t))和q(t，α(t))分別由(3.5.17)和(3.5.18)給出。
　　4.帶馬爾科夫鏈的正倒向超前-延遲系統(tǒng)的隨機(jī)最大值原理
　　記（Ω，F(xiàn)，P）是一個(gè)概率空間。T＞0是

50、一個(gè)有限時(shí)間區(qū)間的終點(diǎn)。{Bt}0≤t≤T是一個(gè)1-維布朗運(yùn)動(dòng)，{αt}0≤t≤T是一個(gè)有限狀態(tài)馬爾科夫鏈，狀態(tài)空間記為I={1，2，…，k}。假設(shè)B和α是相互獨(dú)立的。馬爾科夫鏈的轉(zhuǎn)移速率記為λ(i，j)。假設(shè)λ(i，j)是非負(fù)的和一致有界的，并且λ(i，i)=-∑j≠iλ（i，j）。記{Ft}0≤t≤T是由{Bt，αt}0≤t≤T生成的自然信息族，并包含F(xiàn)中所有的P-零測(cè)集。
　　我們首先建立下面的帶馬爾科夫鏈的超前的BSDE的

51、解的存在唯一性:{-dYt=g（t,Yt,Yt+δ，Zt,Zt+δ，Vt）dt-ZtdBt-∑j∈IVt（j）d(V)t(j)， t∈[0，T)，(0.0.13)Yt=at， Zt=bt， t∈[T，T+δ]，其中，終端條件at∈L2F(T，T+δ;R)，bt∈L2F(T，T+δ;R)。
　　定理0.11.在假設(shè)(H4.1)和(H4.2)下，BSDE(0.0.13)存在唯一解（Yt，Zt，Vt）∈L2F(0，T+δ;R)×L2F(

52、0,T+δ;R)×L2(P; R)。
　　我們考慮下面的最優(yōu)控制問(wèn)題，控制系統(tǒng)由一個(gè)正倒向方程給出。{dXt=b(t,αt,Xt,Xt-δ,vt,vt-δ)dt+σ(t,αt，Xt，Xt-δ,vt,vt-δ)dBt,-dYt=g(t，αt，Xt，Xt-δ，Yt，EFt[Yt+δ]，Zt，EFt[Zt+δ]，Wtnt，vt，vt-δ)dt-ZtdBt-∑j∈I Wt(j)d(V)t(j), t∈[0，T]，X t=x0（t)， vt

53、=v0（t)， t∈[-δ，0]，YT=ψ（XT），ZT=bT, Yt=at, Zt=bt, t∈(T,T+δ]，其中Wtnt=(Wt(1)nt(1)，...，Wt(k)nt(k))，x0(t)，v0(t)是確定性的函數(shù)。
　　在上面，vt是一個(gè)Ft-適應(yīng)的控制過(guò)程，取值于U，且U（C）R是一個(gè)非空的凸集。記U為容許控制的集合，其中容許控制是指取值于凸集U并且滿足E[∫T0|vt|2dt|＜∞。定義代價(jià)泛函如下:J（vt）=E[∫

54、T0 l(t，αt，Xt，Xt-δ，Yt，Zt，Wtnt，vt，vt-δ)dt+h（XT）+r（Y0）]，(0.0.14)其中l(wèi)，h，r是可測(cè)函數(shù)。
　　我們的最優(yōu)控制問(wèn)題的目標(biāo)是，在容許控制集U中，最大化泛函指標(biāo)(0.0.14)。能夠最大化(0.0.14)的控制ut被稱為是最優(yōu)控制。
　　由變分方程(4.3.1)，以及定理4.2中的估計(jì)，我們可以建立下面的變分不等式。
　　定理0.12.假設(shè)(H4.3)-(H4.5)

55、成立，則我們有:E[∫T0(lxξt+ lxδξt-δ+lyηt+lzγt+∑j∈Ilw(j)Γt(j）nt(j）+lvv't+lvδv't-δ）dt+hx（X T）ξT+ry（y0）η0]≤0.
　　引入伴隨方程(4.3.5)后，定義哈密頓函數(shù)H:[0，T]×I×R×R×R×L2(Fr;R)×R×L2(F(r); R)×L2((P); R)×U×U×R×R×R(→)R如下H（t，j，x，xδ，y，Yδ，z，zδ，w，v，vδ，p

56、，k，q）=pb(t，j，x，xδ，v，vδ)+kσ(t，j，x，xδ，v，vδ)-qg(t，j，x，xδ，y，yδ，z，zδ，wnt，v，vδ)+l(t，j，x，xδ，y，z，wnt，v，vδ)，其中r，(r)∈[t，T]。我們可以得到下面的隨機(jī)最大值原理。
　　定理0.13.假設(shè)(H4.3)-(H4.5)，記ut是一個(gè)最優(yōu)控制，（Xt，Yt，Zt，Wt）是對(duì)應(yīng)的狀態(tài)過(guò)程。（qt，pt，kt，Λt）是伴隨方程(4.3.5)的唯一

57、解。則對(duì)任意的v∈U，我們有(Hv+EFt[(Hvδ|t+δ)])(v-ut)≤0, a.e.,a.s.(0.0.15)
　　然后，我們假設(shè)一個(gè)額外的凸性條件，來(lái)獲得一個(gè)關(guān)于最優(yōu)控制的充分性條件。
　　定理0.14.假設(shè)ut∈U。記（Xt，Yt，Zt，Wt）是對(duì)應(yīng)的狀態(tài)過(guò)程，(qt, pt，kt，Λt)是伴隨方程(4.3.5)的解。如果假設(shè)(H4.3)-(H4.6)和方程(0.0.15)對(duì)于ut成立，則ut是一個(gè)最優(yōu)控制。<

58、br>　　最后，我們研究一個(gè)遞歸效用下的投資-消費(fèi)問(wèn)題。應(yīng)用隨機(jī)最大值原理，我們得到了顯式的最優(yōu)消費(fèi)率。考慮一個(gè)帶馬爾科夫鏈和延遲的隨機(jī)動(dòng)態(tài):{ dXt=(b(αt)Xt-δ-ct)dt+σ(αt)Xt-δdBt， t∈[0，T]，X0=x0(t)， ct=c0（t)， t∈[-δ,0]，α0=i.其中，消費(fèi)過(guò)程ct是一個(gè)Ft-適應(yīng)的非負(fù)的過(guò)程，滿足E[∫T0|ct|2dt]＜∞。記(U)代表所有消費(fèi)過(guò)程的集合。在我們的投資-消費(fèi)問(wèn)題中

59、，假設(shè)投資人將會(huì)選取U中的一個(gè)消費(fèi)過(guò)程去最大化他的效用?？紤]下面的遞歸效用，由一個(gè)帶馬爾科夫鏈的BSDE來(lái)描述:{-dYt=(U(t,ct，ω)+β(αt)Xt+γ(αt)Xt-δ+m(αt)Yt+n(αt)Zt)dt-ZtdBt-∑j∈IWt(j)dVt(j)，t∈[0,T]，Y(Τ)=ψ(αt)X(Τ)，其中U(t，c，w):[0，T]×R+×Ω(→)R是一個(gè)給定的滿足一定條件的效用函數(shù)。
　　我們想要找到一個(gè)消費(fèi)率(c)t，

60、使得Y0((c)t)=sup ct∈(U) Y0(ct).利用隨機(jī)最大值原理，通過(guò)最大化哈密頓函數(shù)，再結(jié)合一些BSDE的性質(zhì)，我們可以得到候選的最優(yōu)消費(fèi)率(c)t可以由下式給出:(c)t=I（t，-pt/qt，ω）， t∈[0，T].(0.0.16)容易驗(yàn)證假設(shè)(H4.3)-(H4.6)被滿足，所以我們得到下面的結(jié)果。
　　定理0.15.記（qt，pt，kt，Λt）是伴隨方程(4.4.3)的解，假設(shè)(4.4.4)成立，則由定理0.