用于学习的近似梯度方法

用于学习的近似梯度（前向后分）方法是优化和统计学习理论的一个研究领域，它研究一类一般的凸正则化问题的算法，其中正则化惩罚可能不是可微的。一个这样的例子是近似梯度法为解决统计学习理论中的正则化问题提供了一个通用的框架，其惩罚措施是针对特定问题的应用而定制的。

近似梯度法适用于各种场景，用于解决以下形式的凸优化问题这是很好的定义，因为有严格的凸性的准则。近似算子可以被看作是投影的概括。我们看到，近似算子很重要，因为{displaystylegamma>0}是任何正实数。是任何正实数。

与近似梯度方法有关的一个重要技术是莫罗分解，它将身份算子分解为两个近似算子之和。也就是说，让{displaystyle{varphi:{mathcal{X}}to`mathbb{R}}是矢量空间上的下半连续的凸函数。

莫罗分解可以看作是矢量空间通常的正交分解的一般化，类似于近似运算符是投影的一般化的事实。在某些情况下，计算共轭的接近算子可能会更容易一些计算共轭φ的接近算子可能更容易的函数，而不是{displaystylevarphi}，因此可以应用莫罗分解。因此可以应用Moreau分解法。这就是组套索的情况。