即时训练的神经网络

即时训练的神经网络是前馈的人工神经网络，它为每个新的训练样本创建一个新的隐藏神经元节点。这个隐藏神经元的权重不仅分离出这个训练样本，还分离出靠近它的其他样本，从而提供泛化。这种分离是使用最接近的超平面完成的，可以即时写下来。在两个最重要的实现中，泛化的邻域要么随着训练样本的变化而变化（CC1网络），要么保持不变（CC4网络）。这些网络使用单数编码来有效表示数据集。这种类型的网络是在1993年SubhashKak的一篇论文中首次提出的。从那时起，即时训练的神经网络被作为短期学习的模型提出，并被用于网络搜索和金融时间序列预测的应用。它们还被用于文件的即时分类以及深度学习和数据挖掘。与其他神经网络一样，它们通常作为软件使用，但它们也被用FPGA和光学实现的方式在硬件中实现。

在CC4网络中，它是一个三级网络，输入节点的数量比训练向量的大小多一个，额外的节点作为偏置节点，其输入总是1。对于二进制输入向量，从输入节点到与训练向量相对应的隐藏神经元（例如索引j）的权重由以下公式给出。是二进制序列的汉明权重（1的数量）。从隐藏层到输出层，权重为1或-1，取决于向量是否属于某个输出类别。如果输入的加权和为0或正数，隐藏层和输出层的神经元输出1，如果输入的加权和为负数，则输出0。

CC4网络也被修改为包括具有不同泛化半径的非二进制输入，因此它有效地提供了一个CC1的实现。在反馈网络中，Willshaw网络以及Hopfield网络都能够即时学习。