决定系数#

术语解释#

决定系数（Coefficient of Determination），通常记为 $R^2$，是回归任务中衡量模型拟合优劣的一种核心评估指标。 $R^2$ 的核心思想其实是在比较当前模型的输出值与预测的输出值都是平均值这个基准模型的差别有多大。换句话说，假如有个模型不管三七二十一永远只输出所有房价的平均值，那么 $R^2$ 衡量的就是你的这个模型比瞎猜平均数这个笨办法到底好了多少。

其计算公式为

其中 $y^{(i)}$ 为真实值，$\hat{y}^{(i)}$ 为预测值，$\bar{y}$ 为真实值的平均值。

$R^2$ 的取值范围是 $R^2 \in (-\infty, 1]$，其值越接近 1 表示模型拟合效果越好；如果 $R^2$ 为负数，说明模型表现甚至不如直接取真实值的平均值进行预测。

更多相关内容可以参见 「2.4 回归模型评估指标：MSE、RMSE、R2 与误差分析」 。

出现动机#

相比于 MSE 等依赖于量纲的指标，$R^2$ 提供了一个相对的分数，方便在不同数据集或不同尺度的任务间进行初步比较。

优点缺点#

• 优点：

  • 行业标准：它是线性回归模型中 scikit-learn 框架默认采用的评价指标，具有极高的通用性和认可度。

  • 易于理解：它通过将模型的预测误差与“均值模型”的误差进行对比，直观地解释了多少比例的数据变异性。

• 缺点：

  • 不能反映误差大小：只表示解释方差比例，不表示预测偏差有多大。例如 MAE 就可以反应整体结果的平均偏差有多大。

相关术语#

• MSE

• MAE

• RMSE