尽管近年来有关非线性优化的教材很多,但它们几乎都是针对有良好的拓扑学和实分析等数学基础的理科学生而编写的,或者是由于学时和基础知识的限制而弱化内容完整性的工科教材。自1952年Markowitz提出均值方差投资组合理论后,数学中的优化理论与方法在金融问题的定量研究中的重要作用越来越显著。应用最优化理论与方法研究金融学科中的相关问题,就是广义下的金融优化。它不仅涵盖投资组合选择的全部内容,而且包括资产定价和风险管理中的相关优化问题。一般来说,在金融优化模型中,尽管涉及随机变量的期望、方差等,但它们都可以转化为线性或非线性优化问题。因此需对一般的线性或非线性优化问题解的存在性和迭代算法的基本理论有清楚的理解和把握。本教材想写成一本供金融数学、金融工程等财经类专业高年级本科生或财经院校硕士研究生使用的教材。因此本书以处理非线性最优化问题时所必要的基础知识为立足点,结合自己的教学体会,以理论、方法与实例相结合进行编写。体现了以下特色: 首先,在内容的选取方面,尽可能避免过分复杂的理论分析,但又不弱化定理证明或理论分析中的数学思维训练,以适应金融数学、金融工程等财经类专业的需要。其次,理论分析时由一般理论到特殊情形,处理问题的方法层层递进,理论、方法与实例相结合,形成自己的特色。另外,在本书中选取一些实例,以使读者加深对理论的理解,同时也了解相关内容在某些金融问题中的应用;在算法实例中,给出了MATLAB软件的使用与实现。本书共分5章。第1章主要介绍最优化问题及风险管理和金融工程中的一些金融优化模型;第2章主要介绍有限维空间中范数与集合,及多元函数的连续性和可微性等多元函数分析基础知识;第3章主要介绍凸分析的基础知识,包括凸集、凸函数、共轭函数、锥与极锥、次梯度等;第4章介绍非线性无约束优化的最优性条件及局部解的迭代算法,其中包括线性搜索法、最速下降法、牛顿法与修正牛顿法、拟牛顿法及共轭梯度法;并利用相关理论对CVaR与极小化CVaR进行介绍;第5章介绍非线性约束优化的最优性条件及其在利润机会鲁棒模型中的应用、对偶理论及其在金融问题中的应用、一般非线性优化的罚函数法、极小极大定理与最坏Sharpe率的最大值问题。由于第1章仅作为引言,我们不追求其全面性,旨在让读者了解最优化问题及一些金融优化模型。第2章和第3章着重介绍多元函数分析和凸分析的基础知识,力求简明。第4章和第5章主要介绍光滑非线性优化问题的最优性条件和局部解的迭代算法,层层递进,理论和实例相结合,力求主线清晰、易学易懂;在应用MATLAB实现算法时,重在算法思想及软件的使用,弱化了MATLAB编程。第2~5章均配有金融领域中相关的应用问题及一定的习题,以加深对该章内容的理解。本书可作为金融数学、金融工程等财经类专业和计算数学、应用数学等专业高年级本科生或财经院校硕士研究生的教学用书和辅导用书,也可供有关科研人员和工程技术人员学习和参考。本教材得到了四川省研究生教育改革创新项目(数理金融研究生培养体系探索与实践)及西南财经大学金融数学专项基金、校级规划教材项目等项目的部分支持,在此表示感谢;同时,感谢陈明博士及清华大学出版社的大力支持和辛勤劳动。由于学识水平所限,书中难免存在一些错误或不足,诚恳希望专家、同行及读者批评指正。
编者2016年11月
第3章凸分析基础集合与函数的凸性在最优化理论分析中有着重要作用。本章简要介绍有关凸分析的基础知识,包括凸集和凸函数的定义及性质、共轭函数、锥与极锥、次梯度等。3.1凸集定义3.1设集合SRn,如果对任意x,yS及任意的[0,1],有x 1-yS,则称集合S是凸集convex set。注凸集的几何意义是: 连接集合中任意两点的直线段都包含在该集合中。由凸集的定义及数学归纳法可证明其如下性质。定理3.1设集合SiRn是凸集,kiR,iI(任意指标集),则i=ISi={x|xSi,iI}和iIkiSi=iIkixi|xiSi,kiR,iI是凸集。定理3.2SRn是凸集的充分必要条件是: 对任意m2,任给的xiS和实数i0(i=1,2,,m),且mi=1i=1,都有mi=1ixiS。定义3.2对任意集合SRn,包含S的最小凸集称为S的凸包(convex hull),记为coS,即coS={D|DS,D是凸集}。特别地,当S仅由有限个点x1,x2,,xmRn构成时,coS可表示为co{x1,x2,,xm}或co{xi|iI}(指标集I={1,2,,m})。给定m个点x1,x2,xmRn,由满足i0(i=1,2,,m)且mi=1i=1的实数1,2,,m表示的向量x=mi=1ixi称为x1,x2,,xm的凸组合。〖1〗金融优化基础〖1〗第3章凸分析基础由给定的有限个点x0,x1,,xmRn的所有凸组合构成的集合D=xRnx=mi=0ixi,mi=0i=1,i0,i=0,1,,m称为凸多面体(convex polytope)。若该式所定义的凸多面体D中的m个向量x1-x0,,xm-x0是线性无关的,则称D为m维单纯形msimplex,对应的m 1个点x0,x1,,xm称为D的顶点vertex。显然,Rn中不存在满足mn的m维单纯形。一维单纯形是线段,二维单纯形是三角形,三维单纯形是四面体。定理3.3(Carathodory定理)设非空集合SRn,则coS等于由S中至多n 1个点的凸组合构成的集合。注由定理3.3可知,对任意xcoS,都存在xiS及满足mi=1i=1的实数i0(i=1,2,,m)使得x=mi=1ixi(mn 1)。下面介绍凸集分离定理。它是研究非线性规划最优性条件的理论基础。考虑由向量aRna0与实数R定义的超平面H={xRn|〈a,x〉=}。空间Rn被超平面H分割为两个子集H ={xRn|〈a,x〉},H-={xRn|〈a,x〉}。称这两个集合H 和H-为由超平面H定义的半空间half space。当集合D1,D2Rn满足D1H 和D2H-时,称超平面H分离了D1和D2,即〈a,y〉〈a,z〉,yD1,zD2;并称H为D1和D2的分离超平面separating hyperlane。并且D1D2H成立,则称H正常分离了D1和D2。若集合D1,D2Rn满足D1 ={xRn|〈a,x〉}和D2-={xRn|〈a,x〉0,则存在点列{xk}S使得‖x-xk‖(k)。首先证明{xk}是Cauchy序列。事实上,对任意k,l都有‖xl-xk‖2=2‖x-xk‖2 2‖xl-x‖2-4x-12xl xk2成立。由于12xl xkS,故有x-12xl xk2,从而得到‖xl-xk‖22‖x-xk‖2 2‖xl-x‖2-420(k,l),这说明{xk}是Cauchy序列,因此{xk}必收敛于某点x-。由于S是闭集,故x-S。且由fx=‖x‖的连续性可知‖x-x-‖=,所以PSx是存在的。唯一性假设存在x-,x~S满足x-x~,‖x-x-‖=‖x-x~‖=。同上可证明‖x--x~‖22‖x-x-‖2 2‖x~-x‖2-42=0,这与x-x~矛盾,故PSx存在且唯一。■定理3.5设SRn为非空闭凸集,则对x,yRn,zS都有下列性质:(1) 〈PSx-x,PSx-z〉0;2 ‖PSx-PSy‖‖x-y‖;3 〈PSx-PSy,x-y〉0;(4) ‖PSx-z‖2‖x-z‖2-‖PSx-x‖2;(5) 函数h=〈y,x-PSx y〉在0, 是单调递减的;(6) 函数g1=‖z-PSz x‖和g2=‖z-PSz x‖在0, 是单调递减的。证明仅证明(1)、(2)和(5),其余留作练习题。(1) 因为S是凸集,则对0,1都有1-PSx zS。再由PSx的定义知‖x-PSx‖2‖x-[1-PSx z]‖2。变形整理可得〈PSx-x,PSx-z〉2‖PSx-z‖2,再由的任意性可得(1)成立。(2) 由(1)知,〈PSx-x,PSx-z〉0且〈PSy-y,PSy-z〉0。因为PSx,PSyS,所以在上两式中分别代入z=PSy和z=PSx后再相加可得‖PSx-PSy‖2〈x-y,PSx-PSy〉‖x-y‖‖PSx-PSy‖,从而知(2)成立。(5) 对任意120,有h1-h2=〈y,x-PSx 1y〉-〈y,x-PSx 2y〉=〈y,PSx 2y-PSx 1y〉=12-1〈x 2y-x 1y,PSx 2y-PSx 1y〉0(由(3))。当1=2时,h1=h2。故(5)成立。■注事实上,对xRn及zS,由〈x--x,x--z〉0易推知x-=PSx。定理3.6设SRn为非空闭凸集,xRn且xS,则存在严格分离S与x的超平面H={yRn|〈a,y〉=},即存在0aRn,R使得〈a,z〉〈a,x〉,zS。证明由定理3.4知,x在S上的投影x-=PSx存在且唯一。显然x-x,故‖x--x‖2=〈x--x,x--x〉0。再由定理3.5(1)知对zS,〈x--x,x--z〉0,从而有〈x--x,z〉〈x--x,x-〉〈x--x,x〉。令a=x--x及=〈x--x,x-〉,得证。■定理3.7设SRn为非空凸集,xRn且xS,则存在分离S与x的超平面,即存在0aRn,R使得〈a,z〉〈a,x〉,zS。证明由假设条件知xclS(S的闭包)与xbdS(S的边界)之一成立。当xclS时,由定理3.6得证。当xbdS时,则必存在点列{xk}使得xkclS且xkx(k)。由定理3.6可知,对每个k都存在0akRn使得〈ak,z〉〈ak,xk〉,zS。不失一般性,可假设‖ak‖=1,于是点列{ak}存在收敛于某个满足‖a‖=1的点a的子列{aik},使得〈aik,z〉〈aik,xik〉。令i可得〈a,z〉〈a,x〉,zS。故得证。■定理3.8设两个非空凸集S,TRn满足ST=(空集),则必存在分离S与T的超平面,即存在0aRn,R使得〈a,y〉〈a,z〉,yS,zT。证明令Q=S-T={xRn|x=y-z,yS,zT},则易验证Q是非空凸集。因为ST=等价于0Q,故由定理3.7知结论成立。■3.2凸函数定义3.4设f:XRnR{ }。若对x,yX,[0,1]都有fx 1-yfx 1-fy,则称f为X上的凸函数。若上式对x,yX且xy都成立,则称f是严格凸函数。若-f是凸函数,则称f为凹函数;若f既是凸函数又是凹函数,则称f是仿射函数。下面我们了解一些关于凸函数的基本性质。定理3.9设f:RnR{ },则下面条件等价:(1) f是凸函数;(2) 对X中任意的有限点集{xi}ni=1的凸组合x=ni=1ixini=1i=1,i0都有 fni=1ixini=1ifxi;(Jensen不等式)(3) f的上图是凸集。证明(1)(2)显然。下证(2)(3)。为此我们只需证明对于f的上图中的任意两点x,,y,与任意的[0,1],都有x, 1-y,=x 1-y, 1-在f的上图中。实际上,由fx,fy与[0,1],易得fx 1-fy 1-。再由(2)有fx 1-yfx 1-fy 1-。最后证明(3)(2)。由xi,fxiepf,xiX与epf凸,我们有ni=1ixi,ni=1ifxi=ni=1ixi,fxiepf。■由上面命题我们有下面的推论。推论3.1X的子集K是凸集当且仅当K的指示函数是凸函数。证明实际上,epK=KR 是凸函数当且仅当K是凸集。定理3.10假设f,g,fiiI:RnR{ }都是凸函数,则(1) 函数f g和supiI fi是凸函数;(2) 当0时,f是凸函数;(3) fA是凸函数,若A:YRnRn是线性映射;(4) f是凸函数,若:RR是递增的凸函数。证明由epsupiI fi=x,|supiI fix=iIepfi可得出supiI fi是凸函数;其余各结论易证。■定理3.11设f:RnR{ }是凸函数,则其截口Sf,必是凸集。注该命题的逆命题不一定成立。例3.1凸函数的例子:1) 向量空间的范数是凸函数。显然,由范数的性质易得。(2 向量空间X上fx=‖x‖2是严格凸函数。解因为任取,\[0,1\],=1-,对任意x,y,zRn,都有‖x-y-z‖2=‖x-y‖2 ‖x-z‖2-‖y-z‖2。令x=0,则有fy z=fy fz-‖y-z‖20,{x|fx,y,Ar}={x|xTyrxTAx}是凸的。事实上,对任意xii=1,2使得xTiyrxTiAxi成立,都有xTiy2r2xTiAxii=1,2。则对任意[0,1],有x1 1-x2Ty2=2xT1y2 1-2xT2y2 21-xT1yxT2yr2[x1TAx1 1-x2TA1-x2 21-xT1Ax1xT2Ax2]=r2[x1TAx1 1-x2TA1-x2 21-xT1Ax2xT1Ax2]=r2[x1TAx1 1-x2TA1-x2 2x1TA1-x2]=r2x1 1-x2TAx1 1-x2,即x1 1-x2{x|fx,y,Ar}。所以{x|fx,y,Ar}是凸集。2) 要证r0,{y,A|fx,y,Ar}={y,A|xTyrxTAx}是凸的。事实上,对任意yi,Ai{y,A|fx,y,Ar}i=1,2及任意[0,1],则有rxTA1 1-A2x=rxTA1x 1-xTA2xrxTA1x r1-xTA2xrxTy1 r1-xTy2=rxTy1 1-y2。故{y,A|fx,y,Ar}是凸集。因此结论得证。■定理3.12设f:RnR{ }是正常凸函数,则极小化问题infxRnfx的解集M是凸集。若f是严格凸的正常函数,则M至多包含一个点。证明令definfxRnfx,则M=Sf,。由f的凸性与定理3.11可知,对,Sf,都是凸集,因此M是一个凸集。设f严格凸的正常函数,且x1x2是问题=infxXfx的两个解,则有=fx1 x220,0,1,xiRni=1,2。我们只需考虑x1,x2都在f的定义域中的情况。由xidomfi=1,2与下确界的定义可知,存在y1,y2Rn使得gxi,yifxi i=1,2。再由g的凸性可知gx1 1-x2,y1 1-y2fx1 1-fx2 。但是由f的定义可得fx1 1-x2gx1 1-x2,y1 1-y2,故 fx1 1-x2fx1 1-fx2 ,令0,命题得证。■定理3.14设fi:RnR{ }(i=1,2,,n)是凸函数,则由Fx=f1x,f2x,,fnx,xK=ni=1domfi定义的映射F:KRn{ }具有下面的性质: 集合FK Rn 与FK Rn 都是凸集,其中Rn ={xRn|xi0,i=1,2,,n}。锥Rn 代表锥Rn 的内部,是由分量全部为正的n维向量构成的。证明我们只证明第二部分。取定FK Rn 内的两个向量yi=Fxi uii=1,2,其中xiK,uiRn 。对任意[0,1],令y=y1 1-y2=Fx u,其中x=x1 1-x2,并且u=u1 1-u2 Fx1 1-Fx2-Fx1 1-x2。由f的凸性可知向量u的所有分量都是正的,即yFK Rn 。■现在介绍可微函数是凸函数的充要条件。定理3.15设DRn是非空开凸集,f:DR在D上连续可微函数,则(1) fx是D上的凸函数的充要条件是fx1fx2 〈fx2,x1-x2〉,x1,x2D。(2) fx是D上的严格凸函数的充要条件是fx1fx2 〈fx2,x1-x2〉,x1,x2D且x1x2。证明只证明结论(1)成立,类似可证明结论(2)。必要性设fx是D上的凸函数,则对任意[0,1],有fx1 1-x2fx1 1-fx2,故fx1-x2 x2-fx2fx1-fx2。由Taylor展开式可知fx1-x2 x2-fx2=〈fx2,x1-x2〉 o‖x1-x2‖,从而有〈fx2,x1-x2〉 o‖x1-x2‖fx1-fx2。两边取关于(0)的极限,可得〈fx2,x1-x2〉fx1-fx2。充分性设fx1-fx2〈fx2,x1-x2〉,x1,x2D。对任意[0,1],令x-=x1 1-x2,则由D的凸性可知x-D。由已知可得,对x1,x2D,有fx1fx- 〈fx-,x1-x-〉,fx2fx- 〈fx-,x2-x-〉。于是可得fx1 1-fx2fx- 〈fx-,x1 1-x2-x-〉,即fx1 1-x2fx1 1-fx2。由的任意性及凸函数的定义可知fx是D上的凸函数。■若函数fx二次连续可微,则有下列判别定理。定理3.16设DRn是非空开凸集,函数f:DRnR在D上二次连续可微,则fx是D上的凸函数的充要条件是fx的Hesse矩阵2fx在D上是半正定的。证明必要性任取x-D,由D是开凸集知,对任意xD都存在0使得当0,时有x- xD。由于fx是D上的凸函数,由定理3.15知fx- fx-Txfx- x,xD。再由fx的二次连续可微性知fx- x=fx- fx-Tx 122xT2fx-Tx o‖x‖2。从而有122xT2fx-Tx o‖x‖20,xD。将该式两边同除以2,并令0得xT2fx-Tx0,xD,即2fx在D上是半正定的。充分性设2fx在任意点xD是半正定的,由fx的二次连续可微性可知,fx在x-D处的Taylor展开式为fx=fx- fx-Tx-x- 12x-x-T2fTx-x-,其中=x- x-x-,0,1。由D的凸性可知D。又由于2f是半正定的,故有fxfx- fx-Tx-x-。再由定理3.15知fx是D上的凸函数。■注在定理3.16的假设下,由2fx在D上的正定性能推出fx在D上是严格凸的;但是fx在D上是严格凸的只能推出2fx在D上的半正定性,不能推出2fx在D上是正定的。例如,函数fx=x4是严格凸函数,但fx在x=0处不是正定的。例3.3对于nn的对称半正定矩阵A,函数fx=xTAx是凸函数。证明由例2.3及定理3.16易得。接下来,我们介绍关于凸函数的连续性的重要结果。定理3.17设正常凸函数f:RnR{ }满足int domf,则f在int domf内连续。证明任取xint domf,则存在n维单形Sint domf,使得xintS。记S的顶点为x0,x1,,xn,并令=max{fx0,fx1,,fxn}。因任意yS都可表示为y=ni=0ixi,其中ni=0i=1,i0(i=0,1,,n),从而由定理3.9可得fyni=0ifxi,yS。由xintS,故可选取充分小的r0使得Bx,rS。对任意0,1,选取满足‖z-x‖
|