决策边界#

术语解释#

决策边界（Decision Boundary），也常被称为决策面，是机器学习分类模型中用于区分不同类别的边界。在特征空间中，模型根据这条边界来判定新样本的所属类别。

在分类任务中（如二分类），决策边界是特征空间中将不同类别的样本点分隔开的界限。

对于线性模型（如逻辑回归、线性SVM），决策边界通常表现为一个超平面。例如，在包含两个特征 $x_1$ 和 $x_2$ 的逻辑回归模型中，其方程可以表示为：

当模型计算出的结果大于 0（对应预测概率 $h(x) > 0.5$）时，样本被划分为正类；反之则被划分为负类。

不同模型中的决策边界#

• 逻辑回归（Logistic Regression）：其目标是通过训练找到一组参数 $w$ 和 $b$，从而确定一个能准确区分样本的线性决策边界。

• 支持向量机（SVM）：SVM 被称为“最大间隔分类器”，它寻找的决策边界不仅能分开样本，还要求该超平面到两侧最近样本点（支持向量）的间隔（Margin）最大。这种居于中间且间隔最大的边界通常具有更强的泛化能力。

• 非线性模型：当数据线性不可分时，可以通过特征映射或核函数将特征投射到高维空间，从而形成非线性的决策边界。在可视化图表中，这种边界表现为曲线或复杂的交界形状。

如下图所示，便是不同算法对应的决策边界图。

决策边界是分类器在特征空间中划定的“势力范围”界线。一个优秀的模型应该能够找到一个既能准确区分训练数据，又能在未知数据上保持稳定性能（即具有良好泛化能力）的决策边界。