更新于 2026年8月10日

多项式回归#

术语解释#

多项式回归（Polynomial Regression）是一种线性回归的扩展形式，它通过将原始特征的高次项（如 $x^2, x^3$）或交叉项项作为新的特征引入模型，以此来拟合变量之间的非线性关系。例如：

$$ h(x)=x_1w_1+x_2w_2+(x_1)^2w_3+x_1x_2w_4+(x_2)^2w_5+b $$

虽然它被称为多项式回归，但只要将高次项看作独立的新特征，它在数学本质上仍可以转化为线性回归模型进行求解，但是能逼近曲线，是入门非线性建模的常用方法。

例如只要进行如下替换，便可回到普通的线性回归：

$$ h(x)={x}_{1}{w}_{1}+{x}_{2}{w}_{2}+{x}_{3}{w}_{3}+{x}_{4}{w}_{4}+{x}_{5}{w}_{5}+b $$

其中，$x_3=(x_1)^2$、$x_4=x_1x_2$、$x_5=(x_2)^2$，

解决非线性拟合问题：基本的线性回归模型只能拟合直线或平面关系，但在现实场景中，特征与目标值之间往往呈现曲线关系（如房价与面积并非完全线性，或物理公式中的面积计算）。
模拟复杂函数映射：例如在「预测梯形面积的任务中」，仅靠上底 ($x_1$) 和下底 ($x_2$) 的线性组合 $w_1x_1 + w_2x_2 + b$ 无法得到准确结果。

梯形面积预测通过人为构造出 $x_1^2$、$x_1x_2$ 等多项式特征，模型能够“学习”出更接近真实公式（如 $S=0.5\cdot x_1(x_1+x_2)$）的非线性映射。
特征提取与映射：通过将低维特征映射到高维空间，使得原本在低维空间非线性不可分的数据，在高维空间中可能存在一个线性的超平面进行良好拟合。

优点：
- 能够处理非线性数据：多项式回归打破了线性假设的局限，可以灵活地拟合各种复杂的曲线分布。
- 模型简单且易于求解：尽管拟合的是曲线，但在参数 $W$ 看来，它依旧是一个线性模型，因此可以继续使用梯度下降算法或最小二乘法高效地求解最优参数。
- 支持特征组合：它能自动捕捉特征之间的交互影响（如 $x_1x_2$），这在许多实际工程问题中非常重要。
缺点：
- 极易产生过拟合（Overfitting）：这是多项式回归最显著的缺点。当多项式的次数（degree）过高时，模型会试图拟合训练集中的每一个样本点（包括随机噪声），导致其在训练集上误差极小，但在未知数据上的泛化能力变差。
  
  正弦样本点过拟合图形
- 对异常值敏感：由于引入了高次项，个别偏离较大的噪声点会被平方或立方项显著放大，从而剧烈“拉偏”拟合的曲线。
- 特征爆炸与计算开销：随着原始特征维度和多项式次数的增加，构造出的新特征数量会呈指数级增长（维度爆炸），不仅增加计算负担，还可能导致数值计算不稳定。
- 超参数选择困难：多项式的“次数”是一个关键的超参数。次数太低会导致欠拟合，次数太高则导致过拟合，通常需要配合交叉验证来确定最佳次数。