对偶控制理论

对偶控制理论是控制理论的一个分支，它研究的是对特征最初未知的系统的控制。 之所以称为双重，是因为在控制此类系统时，控制器的目标是双重的：

• (1) 行动：根据当前系统知识尽可能地控制系统
• (2) 调查：对系统进行实验，以了解其行为并在未来更好地控制它。

这两个目标可能部分冲突。在强化学习的背景下，这被称为探索-利用权衡

原则上可以通过动态规划找到最优解，但这通常是不切实际的； 因此，已经设计出许多设计次优双控制器的方法。

打个比方：如果你开着一辆新车，你想以便宜的方式顺利到达目的地，但你也想看看这辆车的加速、制动和转向情况如何，以便更好地驾驶它。 ，因此您将为此目的进行一些测试操作。 同样，双控制器将向系统注入所谓的探测（或探索）信号，这可能会降低短期性能，但会在未来改善控制。