在机器学习中，梯度提升估计器是一种强大的集成学习方法，它通过迭代地训练模型来最小化损失函数。然而，在某些情况下，可能希望模型在特定特征上表现出单调性，即随着特征值的增加，预测值也相应地增加或减少。这种需求可以通过在训练过程中施加单调约束来实现。本文通过构建一个人工数据集，展示了单调约束如何影响梯度提升估计器的预测结果。
首先，创建了一个包含两个特征的数据集，其中目标值与第一个特征正相关，与第二个特征负相关。这种相关性并不是绝对的，而是在随机和非随机变化中体现出来。通过在训练过程中对这两个特征分别施加单调递增和单调递减的约束，估计器能够更好地捕捉到这种一般趋势，而不是受到局部变化的影响。
在没有约束的情况下，首先使用梯度提升树模型（HistGradientBoostingRegressor）对数据集进行拟合。然后，使用相同的模型，但对两个特征分别施加单调递增和单调递减的约束，再次进行拟合。通过比较两个模型的部分依赖图，可以直观地看到单调约束对模型预测的影响。
import matplotlib.pyplot as plt
import numpy as np
from sklearn.ensemble import HistGradientBoostingRegressor
from sklearn.inspection import PartialDependenceDisplay
# 设置随机数种子以保证结果的可重复性
rng = np.random.RandomState(0)
n_samples = 1000
f_0 = rng.rand(n_samples)
f_1 = rng.rand(n_samples)
X = np.c_[f_0, f_1]
noise = rng.normal(loc=0.0, scale=0.01, size=n_samples)
# 目标值与第一个特征正相关，与第二个特征负相关
y = 5 * f_0 + np.sin(10 * np.pi * f_0) - 5 * f_1 - np.cos(10 * np.pi * f_1) + noise
# 无约束模型
gbdt_no_cst = HistGradientBoostingRegressor()
gbdt_no_cst.fit(X, y)
# 有单调约束的模型
gbdt_with_monotonic_cst = HistGradientBoostingRegressor(monotonic_cst=[1, -1])
gbdt_with_monotonic_cst.fit(X, y)
# 显示两个模型的部分依赖图
fig, ax = plt.subplots()
disp = PartialDependenceDisplay.from_estimator(gbdt_no_cst, X, features=[0, 1], feature_names=("第一特征", "第二特征"), line_kw={"linewidth": 4, "label": "无约束", "color": "tab:blue"}, ax=ax)
PartialDependenceDisplay.from_estimator(gbdt_with_monotonic_cst, X, features=[0, 1], line_kw={"linewidth": 4, "label": "有约束", "color": "tab:orange"}, ax=disp.axes_)
for f_idx in (0, 1):
disp.axes_[0, f_idx].plot(X[:, f_idx], y, "o", alpha=0.3, zorder=-1, color="tab:green")
disp.axes_[0, f_idx].set_ylim(-6, 6)
plt.legend()
fig.suptitle("单调约束对部分依赖的影响")
plt.show()
从图中可以看到，无约束模型的预测捕捉到了数据的波动，而有约束模型则遵循了一般趋势，忽略了局部变化。这说明单调约束在某些情况下可以提高模型的泛化能力，使其更加稳定和可靠。
此外，如果训练数据包含特征名称，可以通过传递一个字典来指定单调约束。例如，可以创建一个包含特征名称的DataFrame，并使用这些名称来设置单调约束。这种方法使得模型更加易于理解和解释。
import pandas as pd
# 创建包含特征名称的DataFrame
X_df = pd.DataFrame(X, columns=["f_0", "f_1"])
# 使用特征名称设置单调约束
gbdt_with_monotonic_cst_df = HistGradientBoostingRegressor(monotonic_cst={"f_0": 1, "f_1": -1})
gbdt_with_monotonic_cst_df.fit(X_df, y)
# 验证两个模型的预测结果是否一致
np.allclose(gbdt_with_monotonic_cst_df.predict(X_df), gbdt_with_monotonic_cst.predict(X))
通过上述代码，可以看到使用特征名称指定单调约束的方法与直接指定约束的方法得到的预测结果是一致的。这表明可以使用更加直观的特征名称来设置单调约束，从而提高模型的可解释性。