在机器学习领域，模型性能的评估是至关重要的一步。需要在未见过的测试数据上评估模型的表现，并与基准模型进行比较。评估指标的选择取决于试图解决的问题类型——无论是监督学习、非监督学习问题，还是两者的混合（如半监督学习），以及它是分类还是回归任务。本文将讨论回归问题中使用的两个重要评估指标，并探讨它们之间的关键差异以及为何偏好使用这些指标。
试图在本文中理解的一些重要问题包括：
- R平方值的增加游戏
- 为何选择调整后的R平方值
- 何时使用R平方值和调整后的R平方值
首先，让了解什么是R平方值。R平方值，有时也称为决定系数，定义了因变量（目标或响应）的变异性中有多少可以由自变量（特征或预测因子）解释。例如，如果一个回归模型的R平方值为0.76，其中收入作为自变量（预测因子），支出作为因变量（响应），那么通常意味着因变量的变异性中有76%是由自变量解释的。在回归问题中，这可以理解为76%的支出变异性与回归方程相关，而24%的变异性是由其他因素引起的。
关于R平方值的重要点：
- 理想情况下，希望自变量能解释目标变量的全部变异性。在这种情况下，R平方值将等于1。因此，可以这样说，R平方值越高，模型就越好。
- 简单地说，R平方值越高，输入变量解释的变化就越多，因此模型就越好。R平方值的范围是[0,1]。以下是计算R平方值的公式：
R^2 = 1 - (SS_RES / SS_TOT)
SS_RES是回归模型的残差平方和，SS_TOT是平均模型的总平方和。
使用R平方值的缺点：
- 每次向回归模型中添加一个新的自变量Xi（无论是独立的/预测的/解释的），即使这个自变量对回归模型并不重要，R平方值也会增加。
- R平方值假设模型中的每个自变量都有助于解释因变量的变异性。实际上，有些自变量并不有助于解释因变量。换句话说，有些变量并不有助于预测因变量。
- 因此，如果向数据中添加新的特征（这些特征可能有用也可能没用），模型的R平方值要么增加，要么保持不变，但永远不会减少。
为了克服所有这些问题，有调整后的R平方值，这是R平方值的稍微修改版本。
让了解什么是调整后的R平方值。调整后的R平方值与R平方值类似，它衡量的是由真正有助于解释因变量的自变量解释的变化比例。与R平方值不同，调整后的R平方值会惩罚那些不帮助预测因变量的自变量。让从数学上理解这个特性是如何在调整后的R平方值中体现的。以下是调整后的R平方值的公式：
Adjusted-R^2 = 1 - [(1 - R^2) * (n - 1) / (n - k - 1)]其中n是样本总数，k是自变量的数量。
让通过一个例子来理解这些指标在回归模型中的值变化。例如，对于一个回归问题，观察到自变量X3是不显著的，或者它并不有助于解释因变量的变异性。因此，调整后的R平方值会减少，因为不显著变量的参与会损害已经包含在模型中并且被声明为显著的其他变量的预测能力。
R平方值与调整后的R平方值：
- 调整后的R平方值是R平方值的改进版本。
- 调整后的R平方值根据模型的独立变量的优劣来包含它们。
- 调整后的R平方值 < R平方值
- R平方值包括了额外的变异性，而调整后的R平方值包括了纯粹的变异性。
- R平方值和调整后的R平方值之间的差异仅在于自由度。
有时候，研究人员会尽其所能地以各种方式增加R平方值。一种方法是在模型中包含越来越多的解释性（独立的）变量，因为R平方值是独立变量数量的增函数，即随着一个更多独立变量的包含，R平方值可能会增加，或者至少不会减少。
何时使用哪一个？
- 仅基于R平方值比较两个模型是危险的，因为具有不同数量独立变量的模型可能具有相等的R平方值。
- 总样本大小和相应的自由度被忽略了。
- 因此，有可能选择错误的模型。
调整后的R平方值解决了这个问题。要比较两个不同的模型或选择最佳模型，使用调整后的R平方值，因为它考虑了相应的自由度，考虑了总样本大小和独立变量的数量，并且它不是独立变量数量的增函数。它只有在新独立变量对因变量有影响时才会增加。