线性预测函数

在统计学和机器学习中，线性预测函数是一组系数和解释变量（自变量）的线性函数（线性组合），其值用于预测因变量的结果。这类函数通常出现在线性回归中，其中的系数被称为回归系数。然而，它们也出现在各种类型的线性分类器中（如逻辑回归、感知器、支持向量机和线性判别分析），以及其他各种模型中，如主成分分析和因子分析。在许多这些模型中，系数被称为权重。

一个线性预测函数的基本形式是表示特定解释变量对结果的相对影响的系数（回归系数、权重等）。是表示特定解释变量对结果的相对影响的系数（回归系数、权重等）。

常用的方法是将预测函数写成如下更简洁的形式。系数β0,β1,…,βp被分组为一个大小为p+1的单一向量β。对于每个数据点i，添加一个额外的解释性伪变量xi0，其固定值为1，对应于截距系数β0。由此产生的解释变量xi0(=1),xi1,…,xip然后被分组为一个大小为p+1的单一向量xi。向量符号这使得我们可以将线性预测函数写成如下形式。使用两个向量之间的点积符号。

使用矩阵记号的等效形式如下。表示1乘(p+1)行向量和(p+1)乘1列向量之间的矩阵乘法，产生一个1乘1的矩阵，被认为是一个标量。

线性预测函数的一个使用例子是在线性回归中，每个数据点都与一个连续的结果yi相关，是一个干扰项或误差变量–一个未观察到的随机变量，为因变量和预测函数之间的线性关系增加了噪音。

在一些模型中（特别是标准线性回归），每个数据点i=1，…，n的方程被堆叠在一起，并以矢量形式写为矩阵X被称为设计矩阵，编码了所有关于自变量的已知信息。变量是随机变量。是随机变量，在标准线性回归中是按照标准正态分布的；它们表示任何未知因素对结果的影响。