凸函数一定有极小值吗?
2021-09-25
不一定,比如1/x在(0,1)上
. 紧集上的连续严格凸函数是有唯一极值点的。可以用反证法证明,假如x1, x2都是极值点,那么因为严格凸
与x
1,x2是极值点矛盾。证毕。
2. 开集上的严格凸函数不一定有极值点。比如
通过求二阶导可以验证其在(-∞,0]是凸的,但是不存在极值。3. 有界集上的连续可微函数是一定能通过梯度下降法找到极值点的,因为有如下定理(见, Page 38):"设pk是下降方向(不一定是梯度),ak是步长并满足Wolfe条件,设目标函数f在Rn上有界,且在开集N上连续可微,N是包含{x: f(x)\u0026lt;=f(x0), x0是初始点}的集合,假设▽f在N上Lipschitz连续,那么有"
其中θk是下降方向pk与-▽f的夹角。通过这条定理可以证明,梯度下降法和牛顿法,逆牛顿法都是收敛的。(1) 令pk = -▽f 可推出
,故梯度下降法收敛(2) 令
可推出
,故牛顿法收敛。(3) 令
,其中Bk是对称矩阵,可推出 【多元连续严格凸函数是否存在唯一极值点】
,故拟牛顿法收敛。4. 理论上步长ak应该是计算出来的,在梯度下降法实际应用中通常都是把步长选取一个较小的ak(取大了会震荡)
大家都在看
本站系本网编辑转载,转载目的在于传递更多信息,并不代表本网赞同其观点和对其真实性负责。如涉及作品内容、版权和其它问题,请在30日内与本网联系,我们将在第一时间删除内容!本站文章版权归原作者所有,内容为作者个人观点。本站只提供参考并不构成任何投资及应用建议。本站拥有对此声明的最终解释权。