在机器学习领域，理解分类器的决策边界对于评估模型性能至关重要。决策边界是分类器将数据分为不同类别的分界线。本文通过可视化不同分类器的决策边界，帮助理解各种机器学习算法在不同数据集上的表现。需要注意的是，这些示例仅用于说明目的，实际数据集上的表现可能与这些示例有所不同。特别是在高维空间中，数据更容易被线性分隔，而像朴素贝叶斯和线性SVM这样的简单分类器可能比其他分类器具有更好的泛化能力。
下面的图表展示了训练点（实色）和测试点（半透明）。右下角显示了测试集上的分类准确率。这些图表可以帮助直观地理解不同分类器在处理不同数据集时的决策边界，从而为选择合适的分类器提供参考。
以下是一个使用Python和scikit-learn库实现的示例代码，用于生成不同分类器的决策边界图。代码中使用了多种分类器，包括最近邻、线性SVM、RBF SVM、高斯过程、决策树、随机森林、神经网络、AdaBoost、朴素贝叶斯和二次判别分析等。
import matplotlib.pyplot as plt
import numpy as np
from matplotlib.colors import ListedColormap
from sklearn.datasets import make_circles, make_classification, make_moons
from sklearn.discriminant_analysis import QuadraticDiscriminantAnalysis
from sklearn.ensemble import AdaBoostClassifier, RandomForestClassifier
from sklearn.gaussian_process import GaussianProcessClassifier
from sklearn.gaussian_process.kernels import RBF
from sklearn.inspection import DecisionBoundaryDisplay
from sklearn.model_selection import train_test_split
from sklearn.naive_bayes import GaussianNB
from sklearn.neighbors import KNeighborsClassifier
from sklearn.neural_network import MLPClassifier
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler
from sklearn.svm import SVC
from sklearn.tree import DecisionTreeClassifier
from sklearn.metrics import accuracy_score
# 定义分类器列表
names = ["最近邻", "线性SVM", "RBF SVM", "高斯过程", "决策树", "随机森林", "神经网络", "AdaBoost", "朴素贝叶斯", "二次判别分析"]
classifiers = [
KNeighborsClassifier(3),
SVC(kernel="linear", C=0.025, random_state=42),
SVC(gamma=2, C=1, random_state=42),
GaussianProcessClassifier(1.0 * RBF(1.0), random_state=42),
DecisionTreeClassifier(max_depth=5, random_state=42),
RandomForestClassifier(max_depth=5, n_estimators=10, max_features=1, random_state=42),
MLPClassifier(alpha=1, max_iter=1000, random_state=42),
AdaBoostClassifier(algorithm="SAMME", random_state=42),
GaussianNB(),
QuadraticDiscriminantAnalysis(),
]
# 生成数据集
X, y = make_classification(n_features=2, n_redundant=0, n_informative=2, random_state=1, n_clusters_per_class=1)
datasets = [make_moons(noise=0.3, random_state=0), make_circles(noise=0.2, factor=0.5, random_state=1), (X, y)]
# 设置图表大小
figure = plt.figure(figsize=(27, 9))
# 遍历数据集
for ds_cnt, ds in enumerate(datasets):
# 预处理数据集，分割为训练和测试部分
if ds_cnt == 2:
X, y = ds
else:
X, y = ds[0], ds[1]
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.4, random_state=42)
# 设置x和y的范围
x_min, x_max = X[:, 0].min() - 0.5, X[:, 0].max() + 0.5
y_min, y_max = X[:, 1].min() - 0.5, X[:, 1].max() + 0.5
# 绘制数据集
cm_bright = ListedColormap(['#FF0000', '#0000FF'])
ax = plt.subplot(len(datasets), len(classifiers) + 1, ds_cnt + 1)
if ds_cnt == 0:
ax.set_title("输入数据")
# 绘制训练点
ax.scatter(X_train[:, 0], X_train[:, 1], c=y_train, cmap=cm_bright, edgecolors='k')
# 绘制测试点
ax.scatter(X_test[:, 0], X_test[:, 1], c=y_test, cmap=cm_bright, alpha=0.6, edgecolors='k')
ax.set_xlim(x_min, x_max)
ax.set_ylim(y_min, y_max)
ax.set_xticks(())
ax.set_yticks(())
# 遍历分类器
for name, clf in zip(names, classifiers):
ax = plt.subplot(len(datasets), len(classifiers) + 1, len(datasets) + 1)
clf = make_pipeline(StandardScaler(), clf)
clf.fit(X_train, y_train)
score = clf.score(X_test, y_test)
DecisionBoundaryDisplay.from_estimator(clf, X, cmap=plt.cm.RdBu, alpha=0.8, ax=ax, eps=0.5)
# 绘制训练点
ax.scatter(X_train[:, 0], X_train[:, 1], c=y_train, cmap=cm_bright, edgecolors='k')
# 绘制测试点
ax.scatter(X_test[:, 0], X_test[:, 1], c=y_test, cmap=cm_bright, edgecolors='k', alpha=0.6)
ax.set_xlim(x_min, x_max)
ax.set_ylim(y_min, y_max)
ax.set_xticks(())
ax.set_yticks(())
if ds_cnt == 0:
ax.set_title(name)
ax.text(x_max - 0.3, y_min + 0.3, '%.2f' % score, size=15, horizontalalignment='right')
plt.tight_layout()
plt.show()
这段代码首先定义了多个分类器，然后生成了三个不同的数据集。接着，代码遍历每个数据集和分类器，绘制了训练点和测试点，并显示了分类器在测试集上的准确率。通过这些图表，可以直观地比较不同分类器在不同数据集上的表现。
需要注意的是，这些示例仅用于说明目的，实际数据集上的表现可能与这些示例有所不同。特别是在高维空间中，数据更容易被线性分隔，而像朴素贝叶斯和线性SVM这样的简单分类器可能比其他分类器具有更好的泛化能力。因此，在实际应用中，需要根据具体问题选择合适的分类器，并进行充分的实验验证。