现代霍普费尔德网络

霍普费尔德网络是递归神经网络，其动态轨迹收敛于固定点吸引子状态，由能量函数描述。每个模型神经元的状态它可以被选择为离散的或连续的。一个完整的模型描述了每个神经元的未来活动状态如何取决于所有神经元的已知现在或以前的活动的数学。在联想记忆的原始Hopfield模型中，变量是二进制的，动态由神经元状态的一次次更新来描述。一个能量函数的二次方定义了一个能量函数，而动力学包括改变每个单一神经元的活动{displaystyleV_{i}}是输入电流的单调函数。是一个输入电流的单调函数。动力学被表达为一组一阶微分方程，对于这些方程，系统的能量总是减少。在连续的情况下，能量有一个项，它是四次方的(在二元模型中），第二个项取决于增益函数（神经元的激活函数）。虽然有许多联想记忆的理想特性，但这两个经典系统都存在记忆存储容量小的问题，它与输入特征的数量呈线性扩展。密集关联记忆（也被称为现代霍普菲尔德网络）是经典霍普菲尔德网络的概括，它打破了输入特征数量和存储记忆数量之间的线性缩放关系。这是通过引入更强的非线性（在能量函数或神经元的激活函数中）来实现的，导致超线性（甚至是指数级）的记忆存储能力与特征神经元数量的关系。该网络仍然需要足够数量的隐藏神经元。现代霍普菲尔德网络的关键理论思想是使用一个能量函数和更新规则，与经典的霍普菲尔德网络相比，它在神经元配置空间中的存储记忆周围的峰值更尖锐。

现代霍普菲尔德网络的一个简单例子可以用二进制变量来写{displaystyleF(x)}是一个快速增长的非线性函数。是一个快速增长的非线性函数。单个神经元的更新规则（在异步的情况下）可以写成以下形式-xxx个神经元，网络会比较两种能量：网络的能量与{displaystylei}时的网络能量-第1个神经元处于ON状态时的网络能量，以及第2个神经元的能量。

{displaystylei}在关闭状态下的网络能量。-的神经元处于关闭状态，给定其余神经元的状态。更新后的{displaystylei}的更新状态是选择具有两个最低状态的-第1个神经元的更新状态是选择具有两个能量中最低的状态。在极限情况下，当非线性能量函数是二次的时候这些方程简化为熟悉的能量函数和经典二进制霍普菲尔德网络的更新规则。这些网络的记忆存储容量可以针对随机二进制模式进行计算。对于功率能量函数{displaystyleF(x)=x{n}}。