更新于 2026年8月10日

权重参数#

术语解释#

在机器学习和深度学习中，权重参数（Weight，通常用 $w$ 或 $W$ 表示），也叫模型参数（Parameter）、模型权重或权重，它是模型的“大脑记忆”通过在大量数据上学习而来。各个大公司常说的模型开源指的就是将训练学习得到的权重参数开放出来供大家使用。

权重参数是模型的核心组成部分，用于描述输入特征与输出结果之间的映射关系。权重的大小反映了该特征在模型决策中的重要性。例如，如果某个权重的绝对值很大，说明对应的特征对最终预测结果有显著影响。

例如在线性回归模型 $\hat{y} = wx + b$ 中，$w$ 和 $b$ 都被称为权重参数，它决定了输入特征 $x$ 对预测结果 $\hat{y}$ 的影响程度。

同时，在神经网络中我们可以将权重参数理解为代表了不同层神经元之间的连接强度。随着网络加深，权重参数能够帮助模型学习到从具体到抽象的各种特征表示。

与需要手动设定的“超参数”不同，权重参数是通过数据集训练更新得到的，具体步骤为：

第一步：随机初始化；在训练开始前，权重通常被随机赋予一个初始值（如使用正态分布、Xavier 或 Kaiming 初始化方法），相关内容可参见「6.10 参数初始化方法：Xavier、Kaiming与正交初始化」。
第二步：梯度求解；通过反向传播算法来求解得到目标函数 $J(w)$ 关于每个权重参数的梯度值，相关内容可参见「3.3 反向传播与梯度下降：梯度消失与爆炸的解决方法」。
第三步：参数更新；利用梯度下降（Gradient Descent）等优化算法（更新公式通常类似 $w = w - \alpha \cdot \frac{\partial J}{\partial w}$，其中 $\alpha$ 是超参数学习率）来更新权重参数，相关内容可参见「6.9 Adam算法原理：一阶矩、二阶矩与偏差校正详解」。
第四步：循环迭代；反复执行第二步和第三步，不断调整权重，直到目标函数收敛。

总结就是，权重参数是模型的“大脑记忆”，它通过大量数据的学习，捕捉并存储了输入与输出之间的潜在规律。训练模型的本质，就是寻找一组最优的权重参数，使得模型在处理未知数据时能给出准确的预测。