预计整个模块学习时长: 35 分钟
本模块介绍逻辑回归的相关概念。
学习目标:
- 找出执行逻辑回归的典型场景。
- 说明逻辑回归模型如何使用 S 型(Sigmoid)函数 计算概率。
- 比较线性回归和逻辑回归。
- 说明为何逻辑回归使用对数损失(Log Loss)而非平方损失。
- 说明训练逻辑回归模型时,正则化(Regularization)的重要性。
先修要求:
本模块假设你已经熟悉以下模块中介绍的概念:
引言#
在「线性回归」模块中,我们学习了如何构建模型来预测一个连续数值,例如汽车的燃油效率。
但如果我们要回答的问题不再是数值,而是「今天会下雨吗?」、「这封邮件是否为垃圾邮件?」这种是 / 否式的判断,又该如何构建模型呢?
本模块将介绍一种新型的回归模型:逻辑回归。它专门用于预测某个结果发生的概率,从而帮助我们完成二分类(Binary Classification)任务。
关于逻辑回归的出现动机,也可以参见文章「逻辑回归模型的建立与求解:分类建模与训练过程」中的介绍。
逻辑回归与线性回归的本质区别
线性回归:输出一个连续值(如 23.5 mpg、¥15.6)。
逻辑回归:输出一个介于 0 到 1 之间的概率,表示某事件发生的可能性(如「垃圾邮件的概率为 0.93」)。
模块结构#
接下来的内容将围绕以下子主题展开:
-
使用 S 型函数计算概率:从线性输出 $z = b + w_1 x_1 + w_2 x_2 + \ldots + w_n x_n$ 出发,介绍如何通过 Sigmoid 函数 $y' = \frac{1}{1 + e^{-z}}$ 得到 0 到 1 之间的概率值。
-
损失函数与正则化:解释为什么逻辑回归采用「对数损失」而不是「平方损失」,以及在训练中为何需要正则化以避免过拟合。
关键术语:
完成本模块后,你将能够判断哪些问题适合用逻辑回归建模,并理解其背后的概率化思维方式。