视觉时间注意

视觉时间注意是视觉注意的一个特例,它涉及到将注意力指向特定的时间瞬间。与它的空间对应物视觉空间注意相似,这些注意模块在计算机视觉的视频分析中被广泛实现,以提供深度学习模型的增强性能和人类可解释的解释。由于视觉空间注意力机制允许人类和/或计算机视觉系统更多地关注空间中语义更丰富的区域,视觉时间注意力模块使机器学习算法在视频分析任务中更多地强调关键视频帧,如人类动作识别。在基于卷积神经网络的系统中,由注意力机制引入的优先级经常被实现为一个线性加权层,其参数由标记的训练数据决定。

在动作识别中的应用

最近的视频分割算法经常利用空间和时间的注意力机制。自从引入卷积神经网络(CNN)等强大的工具后,人类动作识别的研究已经xxx加快了。然而,将时间信息纳入CNN的有效方法仍在积极探索之中。视觉时间注意

这个注意力模型以时间加权的方式实现,它有效地提高了视频表征的识别性能。此外,所提出的ATWCNN框架中的每个流都能够进行端到端的训练,网络参数和时间权重都通过随机梯度下降(SGD)与反向传播进行优化。

0

点评

点赞

相关文章