可学习的函数类

在统计学习理论中，可学习的函数类是一组函数，对于这些函数，可以设计一个算法来渐进地最小化预期风险，统一于所有的概率分布。可学习类的概念与机器学习中的正则化密切相关，并为某些学习算法提供了大样本的理由。

是一个考虑中的映射（函数）的集合，将{displaystyle{mathcal{F}}的函数。｝中的函数，使预期风险最小化。也就是说，要找到以下问题的解决方案。是未知的，而且任何学习任务都只能基于有限的样本。

因此，我们转而寻求找到一种渐进地使经验风险最小化的算法，也就是说，找到一个函数序列{displaystyle{lim_{nrightarrowinfty}mathbb{P}(I_{P}({hat{f}}_{n})-inf_{fin{mathcal{F}}I_{P}(f)>epsilon)=0}。找到这样一个序列的一个通常的算法是通过经验风险最小化。

我们可以通过要求收敛对所有的概率分布都是均匀的，来使上式中给出的条件更加有力。就是说(1)这个更严格的要求背后的直觉是这样的：序列{displaystyle{{f}}_{n}}}收敛到预期风险最小值的速度对于不同的人来说可能非常不同。

收敛到预期风险的最小化器，对于不同的总是未知的，我们希望选择一个在所有情况下都表现良好的序列。然而，根据没有免费的午餐定理，这样一个满足（1）的序列并不存在，如果{displaystyle{mathcal{F}}过于复杂。｝太过复杂。

这意味着我们需要小心，不允许有太多的函数在{displaystyle{mathcal{F}}中的太多函数。｝如果我们想让（1）成为一个有意义的要求。具体来说，确保存在一个序列的函数类值得注意的是，至少对于监督分类和回归问题，如果一个函数类是可学习的，那么经验风险最小化就自动满足（1）。

因此，在这些情况下，我们不仅知道（1）所提出的问题是可以解决的，我们也立即有一个算法可以给出解决方案。

如果以下两者之间的真实关系{displaystyleysimf{*}(x)}，那么通过选择适当的损失函数，就可以将其作为一个整体。然后通过选择适当的损失函数。{displaystylef{*}}，则通过选择适当的损失函数，f∗可以表示为所有可能的函数中预期损失的最小值。

总是可以被表达为所有可能的函数中预期损失的最小化。也就是说。可以被解释为实际的数据生成机制。然而，没有免费的午餐定理告诉我们，在实践中，在有限的样本中，我们不可能希望搜索到预期风险最小化器，在{displaystyle{mathcal{F}}{*}}。.因此，我们经常考虑一个子集{displaystyle(b)}不依赖于数据，并且是非随机的。不依赖于数据，并且是非随机的。