主题
优化算法无法收敛怎么办?
先看终止状态和迭代轨迹
记录求解器的终止原因、迭代次数、目标值和最大约束违反量。耗时上限、目标无界、约束不可行与迭代停滞有不同的处理方式。整数规划还需同时查看当前可行解、最优界以及两者差距。目标值连续几步几乎不变时,检查约束残差和与算法相适应的最优性度量。
按原因调整
- 用小问题核对模型与实现。 选一个能手算的实例,比较目标及约束值。自写梯度时,在定义域内部对几个维度用中心差分核验,注意变量尺度、差分步长以及函数在检验点是否可微。先解决方向、符号和单位错误。
- 观察步长与变量尺度。 如果目标在高低值间反复跳动,尝试减小学习率或采用线搜索。若变量有的以个位计量、有的以百万计量,对变量和残差做一致的尺度转换,再检查还原到原单位的解。比如同时优化距离和总预算时,可以分别用公里和万元表达,并同步改写系数与约束。
- 检查初值与约束。 选择有物理意义且处在定义域内的初值。若可行点难找,先求单独的可行性问题。非凸问题可从几个具有代表性的初始点出发,比较最终目标、约束和最优性残差,以识别初值依赖。
- 根据停止原因改求解配置。 若残差持续下降但迭代到限,可增大迭代预算。若残差停在容差之外,检查尺度、病态性及算法是否匹配问题结构。遇到目标无界,回查变量上下界和约束的业务来源。
怎样验证修复
用原数据记录修复前后的目标、残差和终止原因,在原单位下独立代入约束。光滑无约束问题可复核梯度范数,有约束问题还要查看可行性及相应的一阶条件;它们对非凸问题通常只说明局部性质。整数规划在限时后可给出当前可行方案和与最优界的差距,并注明求解状态。