多线子空间学习
目录
多线子空间学习
多线子空间学习是一种降维的方法。降维可以在一个数据张量上进行,其观测值已被矢量化并组织成一个数据张量,或者其观测值是被串联成一个数据张量的矩阵。下面是一些数据张量的例子,其观测值被矢量化或其观测值是被串联成数据张量图像(2D/3D)、视频序列(3D/4D)和高光谱立方体(3D/4D)的矩阵。从高维向量空间到一组低维向量空间的映射是一个多线性投影。当观测值被保留在与传感器提供的相同的组织结构中时;作为矩阵或高阶张量,它们的表征是通过执行N个多线性投影计算出来的。多线性子空间学习算法是线性子空间学习方法的高阶概括,如主成分分析(PCA)、独立成分分析(ICA)、线性判别分析(LDA)和典范相关分析(CCA)。
多线子空间学习的背景
随着数据采集和存储技术的进步,大数据(或海量数据集)每天都在广泛的新兴应用中产生。这些大数据大多是多维的。此外,它们通常是非常高的维度,有大量的冗余,并且只占据了输入空间的一部分。因此,降维经常被采用,将高维数据映射到低维空间,同时尽可能多地保留信息。线性子空间学习算法是传统的降维技术,它将输入数据表示为矢量,并求解到低维空间的最佳线性映射。不幸的是,在处理大量的多维数据时,它们往往变得不充分。它们导致了非常高维的向量,导致了大量参数的估计。多线性子空间学习采用不同类型的数据张量分析工具进行降维。多线子空间学习可以应用于测量结果被矢量化并组织成数据张量的观测,或者测量结果被视为矩阵并串联成张量的观测。
多线子空间学习的算法
多线独立成分分析
多线独立成分分析是ICA的一个扩展。
多线线性判别分析
LDA的多线扩展,基于TTP。基于张量表示的判别分析(DATER)TTP。一般张量判别分析(GTDA)基于TVP。无关联多线性判别分析(UMLDA)多线性卡农相关分析CCA的多线性扩展基于TTP的。TensorCanonicalCorrelationAnalysis(TCCA)基于TVP的。MultilinearCanonicalCorrelationAnalysis(MCCA)基于TVP的多线性佳能相关分析。BayesianMultilinearCanonicalCorrelationAnalysis(BMTF)TTP是将高维张量直接投影到同阶的低维张量,对N阶张量使用N个投影矩阵。它可以分N步进行,每一步都进行张量-矩阵乘法(乘积)。这N个步骤是可以交换的。

这种投影是高阶奇异值分解(HOSVD)在子空间学习中的延伸。因此,它的起源可以追溯到20世纪60年代的Tucker分解。TVP是一个高维张量向低维向量的直接投影,也被称为秩一投影。由于TVP将张量投射到矢量,它可以被看作是张量到标量的多次投射。因此,张量到P维向量的TVP包括从张量到标量的P个投影。从张量到标量的投影是一个基本的多线性投影(EMP)。在EMP中,张量通过N个单位投影向量被投影到一个点。它是张量在一条线上的投影(结果是一个标量),每一种模式都有一个投影向量。因此,一个张量对象在P维向量空间中对一个向量的TVP由P个EMP组成。这种投影是典型分解的延伸,也被称为平行因子(PARAFAC)分解。MSL的典型方法有N组参数需要解决,一个i