铰接体姿势估计

计算机视觉中的铰接体姿势估计是对恢复铰接体姿势的算法和系统的研究，铰接体由基于图像的观察的关节和刚性部件组成。

它是计算机视觉中持续时间最长的问题之一，因为将观察与姿势联系起来的模型很复杂，也因为它在各种情况下都很有用。

在邻近的环境中感知人类是机器人必须具备的重要能力。如果一个人用手势指向一个特定的物体，那么互动的机器应该能够理解现实世界背景下的情况。

因此，姿势估计是计算机视觉中一个重要的、具有挑战性的问题，在过去的二十年中，许多算法被部署在解决这个问题上。

许多解决方案涉及用大型数据集训练复杂的模型。姿势估计是一个困难的问题，也是一个活跃的研究课题，因为人体有244个自由度和230个关节。虽然不是所有关节之间的运动都很明显，但人体是由10个大部件组成，有20个自由度。

算法必须考虑到由于服装、体形、尺寸和发型等引起的外观差异所带来的巨大变化。此外，由于自我发音造成的部分遮挡，例如一个人的手遮住了他们的脸，或者外部物体的遮挡，结果可能是模糊的。

最后，大多数算法是通过单眼（二维）图像来估计姿态的，这些图像是由普通相机拍摄的。

其他问题包括不同的照明和相机配置。如果有额外的性能要求，困难就更大了。

这些图像缺乏实际身体姿态的三维信息，导致了进一步的模糊性。最近在这个领域有一些工作，来自RGBD相机的图像提供了颜色和深度的信息。

典型的铰接体姿势估计系统涉及一种基于模型的方法，其中姿势估计是通过最大化/最小化观察（输入）和模板模型之间的相似性/不相似性来实现的。

已经探索了不同种类的传感器来进行观察，包括以下几种。这些传感器产生的中间表征可直接被模型使用。这些表示法包括以下内容。图像外观、Voxel（体积元素）重建、三维点云和高斯核三维表面网格之和。经典模型零件模型基于零件的模型的基本思想可以归结为人类的骨架。

任何具有铰接属性的物体都可以被分解成更小的部分，其中每个部分可以采取不同的方向，从而导致同一物体的不同铰接。主要物体的不同尺度和方向可以衔接到相应部分的尺度和方向上。

为了制定模型，使其可以用数学术语表示，各部分用弹簧相互连接。因此，该模型也被称为弹簧模型。每个部分之间的紧密程度是由弹簧的压缩和膨胀来说明的。对弹簧的方向有几何约束。

例如，腿部的四肢不能360度移动。因此，部件不能有那种极端的方向。这就减少了可能的排列组合。弹簧模型形成一个图G(V,E)，其中V（节点）对应于零件，E（边）代表连接两个相邻零件的弹簧。

图像中的每个位置都可以通过以下方式到达上述方程简单地表示了用于描述身体姿势的弹簧模型。为了从图像中估计姿势，必须使成本或能量函数最小化。这个能量函数由两个条款组成。