随机森林与多输出回归器的比较

机器学习领域,多输出回归是一个常见的问题,它涉及到预测多个连续的输出变量。本文将探讨如何使用随机森林回归器和多输出回归器(MultiOutputRegressor)来解决这一问题。随机森林是一种集成学习方法,它通过构建多个决策树并结合它们的预测结果来提高模型的准确性和鲁棒性。而多输出回归器则是一种元估计器,它允许在一个模型中同时预测多个目标变量。

在本例中,首先创建了一个随机数据集,其中包含一个单一的底层特征,该特征被用来学习两个输出坐标:x和y。目标是使用随机森林回归器和多输出回归器来预测这些坐标。由于随机森林回归器原生支持多输出回归,可以比较这两种方法的结果。需要注意的是,随机森林回归器的预测值将被限制在观测值的范围内,或者对于每个目标更接近零,这可能导致预测结果偏向于数据的中心。

首先导入了必要的库,包括matplotlib.pyplot用于绘图,numpy用于数值计算,以及sklearn中的RandomForestRegressor、train_test_split和MultiOutputRegressor等。然后,创建了一个随机数据集,并将其分为训练集和测试集。接下来,使用MultiOutputRegressor包装了一个RandomForestRegressor,并对其进行了训练。同样,也单独训练了一个RandomForestRegressor作为比较。

import matplotlib.pyplot as plt import numpy as np from sklearn.ensemble import RandomForestRegressor from sklearn.model_selection import train_test_split from sklearn.multioutput import MultiOutputRegressor # 创建一个随机数据集 rng = np.random.RandomState(1) X = np.sort(200 * rng.rand(600, 1) - 100, axis=0) y = np.array([np.pi * np.sin(X).ravel(), np.pi * np.cos(X).ravel()]).T y += 0.5 - rng.rand(*y.shape) # 分割数据集 X_train, X_test, y_train, y_test = train_test_split(X, y, train_size=400, test_size=200, random_state=4) # 初始化多输出回归器和随机森林回归器 max_depth = 30 regr_multirf = MultiOutputRegressor(RandomForestRegressor(n_estimators=100, max_depth=max_depth, random_state=0)) regr_rf = RandomForestRegressor(n_estimators=100, max_depth=max_depth, random_state=2) # 训练模型 regr_multirf.fit(X_train, y_train) regr_rf.fit(X_train, y_train) # 在新数据上进行预测 y_multirf = regr_multirf.predict(X_test) y_rf = regr_rf.predict(X_test) # 绘制结果 plt.figure() s = 50 a = 0.4 plt.scatter(y_test[:, 0], y_test[:, 1], edgecolor="k", c="navy", s=s, marker="s", alpha=a, label="数据") plt.scatter(y_multirf[:, 0], y_multirf[:, 1], edgecolor="k", c="cornflowerblue", s=s, alpha=a, label="多输出RF得分=%.2f" % regr_multirf.score(X_test, y_test)) plt.scatter(y_rf[:, 0], y_rf[:, 1], edgecolor="k", c="c", s=s, marker="^", alpha=a, label="RF得分=%.2f" % regr_rf.score(X_test, y_test)) plt.xlim([-6, 6]) plt.ylim([-6, 6]) plt.xlabel("目标1") plt.ylabel("目标2") plt.title("比较随机森林和多输出元估计器") plt.legend() plt.show()

通过上述代码,可以看到随机森林回归器和多输出回归器在预测多个输出时的表现。首先创建了一个随机数据集,并将其分为训练集和测试集。然后,使用MultiOutputRegressor包装了一个RandomForestRegressor,并对其进行了训练。同样,也单独训练了一个RandomForestRegressor作为比较。在新数据上进行预测后,绘制了结果,以比较两种方法的预测效果。

从图中可以看出,多输出回归器和随机森林回归器在预测多个输出时都有一定的偏差,但它们的预测结果仍然具有一定的参考价值。通过比较这两种方法,可以更好地理解它们在多输出回归问题中的性能和适用性。此外,本例还展示了如何使用matplotlib库来绘制预测结果,以便更直观地比较不同模型的性能。

沪ICP备2024098111号-1
上海秋旦网络科技中心:上海市奉贤区金大公路8218号1幢 联系电话:17898875485