机器学习中的分类与回归问题评估

在机器学习领域，经常遇到两种类型的问题：回归问题和分类问题。回归问题涉及到的因变量是连续的，而分类问题中的因变量是离散的。构建机器学习模型时，会使用多种评估指标来检验模型的质量和性能。对于分类模型，常用的评估指标包括准确率、混淆矩阵、分类报告（精确度、召回率、F1分数）和AUC-ROC曲线。本文将深入探讨最常见且著名的评估指标——混淆矩阵，并详细解释其各个组成部分。

目录

• 引言
• 什么是混淆矩阵？
• 混淆矩阵的元素
• 通过实例理解混淆矩阵
• 与之相关的其他评估指标
• 何时使用哪种评估指标
• 结束语
• 常见问题解答
• 关于

如果已经熟悉混淆矩阵，请直接跳至文章的第四部分。混淆矩阵是实际值与预测值的视觉表示。它衡量机器学习分类模型的性能，并呈现为表格结构。在二元分类问题中，混淆矩阵看起来像这样：

混淆矩阵的元素

混淆矩阵代表了实际值与预测值的不同组合。逐一定义它们：

• TP（真正例）：实际为正类且预测为正类的数据点。
• FP（假正例）：实际为负类但错误预测为正类的值。也称为第一类错误。
• FN（假负例）：实际为正类但错误预测为负类的值。也称为第二类错误。
• TN（真负例）：实际为负类且预测为负类的数据点。

通过实例理解混淆矩阵

以股市崩盘预测项目为例。这是一个二元分类问题，其中1表示股市将崩盘，0表示股市不会崩盘。假设数据集中有1000条记录。让看看以下混淆矩阵：

在这个矩阵中，可以这样分析模型：

• 真正例：模型正确预测了540条股市崩盘的记录。
• 假正例：模型错误地将150条非股市崩盘的记录预测为市场崩盘。
• 假负例：模型错误地将110条市场崩盘的记录预测为非市场崩盘。
• 真负例：模型正确预测了200条非市场崩盘的记录。

与之相关的其他评估指标

准确率：通过将正确预测的总数除以所有预测来计算。

召回率/敏感度：召回率是检查正确预测的正类结果占总正类结果的比例。

精确度：精确度检查在所有正类预测结果中，实际为正类结果的比例。

F贝塔分数：F贝塔分数是精确度和召回率的调和平均值，它捕捉了两者的贡献。贡献取决于以下公式中的贝塔值。默认的贝塔值为1，这给F1分数的公式，其中精确度和召回率的贡献相同。F1分数越高，模型越好。贝塔值<1时，更重视精确度而不是召回率；贝塔值>1时，更重视召回率。

可以使用上述股市崩盘示例计算所有上述指标的值。

何时使用哪种评估指标

• 领域特定案例：以之前股市崩盘预测的例子为例，主要目标应该是减少模型预测为非市场崩盘而实际上是市场崩盘的结果。想象一下，如果模型错误地预测市场不会崩盘而实际上崩盘了，人们将因此遭受巨大损失。考虑到这个问题的度量是FN，因此需要关注减少FN的值并增加召回率。在大多数医疗案例中，如癌症预测或任何疾病预测，试图减少FN的值。
• 垃圾邮件检测：在电子邮件垃圾邮件检测的情况下，如果一封邮件被预测为诈骗但实际上并非诈骗，那么它可能会给用户带来问题。在这种情况下，需要关注减少FP的值（即当邮件被错误地预测为垃圾邮件时），从而增加精确度的值。在一些不平衡数据问题的情况下，精确度和召回率都很重要，所以考虑F1分数作为评估指标。

结束语

Q1. 如何对混淆矩阵进行评分？

对混淆矩阵进行评分，可以使用多种指标来评估分类模型的性能。这些指标包括准确率、精确度、召回率、F1分数、ROC曲线与AUC、错误率以及特定于应用程序的其他指标。指标的选择取决于分类任务的上下文和目标。

Q2. 什么是完美的混淆矩阵？

完美的混淆矩阵是一个假设的场景，其中分类模型正确地对所有数据点进行分类。这将导致一个矩阵，其对角线上全部是真正的正例（TP）和真正的负例（TN），而非对角线上的假正例（FP）和假负例（FN）为零。