梯度提升算法是一种基于提升技术的机器学习算法，通常被称为梯度提升机（GBM）。如果对音频视觉格式的概念学习更感兴趣，有视频解释这篇文章的全部内容。如果不感兴趣，可以继续阅读。梯度提升机中的模型是顺序构建的，每个后续模型都尝试减少前一个模型的误差。但问题是每个模型是如何减少前一个模型的误差的呢？这是通过在前一个预测的误差或残差上构建新模型来实现的。这样做是为了确定是否有任何前一个模型遗漏的误差模式。让通过一个例子来理解这一点。
构建梯度提升机模型的步骤
为了简化对梯度提升机的理解，将过程分解为五个简单的步骤。
第一步是构建一个模型并对给定数据进行预测。回到数据，对于第一个模型，目标将是数据中给出的收入值。因此，将目标设置为收入的原始值。现在将使用年龄和城市这两个特征以及收入作为目标来构建模型。这个训练好的模型将能够生成一组预测。这些预测如下所示。现在，将这些预测与数据一起存储。这是完成第一步的地方。
下一步是使用这些预测来获得误差，这些误差将作为进一步的目标。目前有实际收入值和模型1的预测。使用这些列，可以通过简单地减去实际收入和收入预测来计算误差。如下面所示。正如之前提到的，连续的模型关注误差。因此，这里的误差将是新目标。这涵盖了第二步。
在下一步中，将在这些误差上构建一个模型并进行预测。这里的想法是确定误差中是否有任何隐藏的模式。因此，使用误差作为目标和原始特征年龄和城市，将生成新的预测。请注意，在这种情况下，预测将是误差值，而不是预测的收入值，因为目标是误差。假设模型给出了以下预测。
现在，需要更新模型1的预测。将添加上述步骤中的预测，并将其添加到模型1的预测中，并将其命名为模型2收入。如所见，新预测更接近实际收入值。最后，将重复步骤2到4，这意味着将计算新的误差并将这个新误差作为目标。将重复这个过程，直到误差变为零或达到了停止标准，即想要构建的模型数量。这是构建梯度提升模型的逐步过程。