损失曲线#

术语解释#

损失曲线（Loss Curve） 是把损失（Loss）作为训练迭代次数（或 epoch）的函数画出的图，是机器学习或深度学习模型训练过程中最常用、最直观的诊断工具之一，如下图所示。

形式上，横轴是迭代次数 $t$（或 epoch ），纵轴是某一类损失值：

其中 $f_{\theta_t}$ 是第 $t$ 步的模型，$\mathcal{D}$ 是对应数据集，$\mathcal{L}$ 是损失函数。

同时，损失曲线一般包含如下3类：

• 训练损失（Training Loss）：模型在训练集上的损失，反映模型对已见数据的拟合能力。

• 验证损失（Validation Loss）：模型在验证集上的损失，反映模型对未见数据的泛化能力，是调参与早停的主要依据。

• 测试损失（Test Loss）：模型在最终测试集上的损失，只在训练结束后评估一次，用于汇报最终性能。

一般而言，训练损失与验证损失同时下降并趋于平稳意味着模型正常收敛；两条曲线走势背离（验证损失远高于训练损失）则往往提示过拟合或欠拟合。

相关术语#

• 过拟合

• 欠拟合

• 学习率