在支持向量机(SVM)模型中,正则化参数C是一个非常重要的超参数,它控制着模型对数据分布的信任程度。C值的大小直接影响模型的泛化能力。
当C值较大时,模型对数据的分布不够信任,因此只考虑靠近分离线的点。这种情况下,模型会更加关注那些距离分离线较近的点,而忽略那些远离分离线的点。
相反,当C值较小时,模型会包含更多的观测值,允许使用所有数据来计算边界。这意味着模型会考虑所有数据点,而不仅仅是那些靠近分离线的点。
下面是一个使用Python和scikit-learn库实现的SVM分类器的代码示例。这个示例展示了如何通过调整C值来观察模型对数据的拟合情况。
import matplotlib.pyplot as plt
import numpy as np
from sklearn import svm
# 创建40个可分离的点
np.random.seed(0)
X = np.r_[np.random.randn(20, 2) - [2, 2], np.random.randn(20, 2) + [2, 2]]
Y = [0] * 20 + [1] * 20
# 图表编号
fignum = 1
# 遍历不同的C值
for name, penalty in [("unreg", 1), ("reg", 0.05)]:
clf = svm.SVC(kernel="linear", C=penalty)
clf.fit(X, Y)
# 获取分离超平面
w = clf.coef_[0]
a = -w[0] / w[1]
xx = np.linspace(-5, 5)
yy = a * xx - (clf.intercept_[0]) / w[1]
# 绘制与分离超平面平行的线,这些线通过支持向量(在垂直于超平面的方向上,距离超平面的距离为sqrt(1+a^2))
margin = 1 / np.sqrt(np.sum(clf.coef_**2))
yy_down = yy - np.sqrt(1 + a**2) * margin
yy_up = yy + np.sqrt(1 + a**2) * margin
# 绘制线、点和最近向量到平面
plt.figure(fignum, figsize=(4, 3))
plt.clf()
plt.plot(xx, yy, "k-")
plt.plot(xx, yy_down, "k--")
plt.plot(xx, yy_up, "k--")
plt.scatter(clf.support_vectors_[:, 0], clf.support_vectors_[:, 1], s=80,
facecolors="none", zorder=10, edgecolors="k")
plt.scatter(X[:, 0], X[:, 1], c=Y, zorder=10, cmap=plt.get_cmap("RdBu"),
edgecolors="k")
plt.axis("tight")
x_min = -4.8
x_max = 4.2
y_min = -6
y_max = 6
YY, XX = np.meshgrid(yy, xx)
xy = np.vstack([XX.ravel(), YY.ravel()]).T
Z = clf.decision_function(xy).reshape(XX.shape)
# 将结果放入等高线图中
plt.contourf(XX, YY, Z, cmap=plt.get_cmap("RdBu"), alpha=0.5, linestyles=["-"])
plt.xlim(x_min, x_max)
plt.ylim(y_min, y_max)
plt.xticks(())
plt.yticks(())
fignum = fignum + 1
plt.show()
在这个示例中,首先创建了40个可分离的点,然后使用不同的C值来训练SVM分类器。通过绘制分离超平面、支持向量和数据点,可以直观地看到不同C值对模型的影响。
当C值较大时,模型会更加关注那些靠近分离线的点,而忽略那些远离分离线的点。这可能导致模型过拟合,即模型在训练数据上表现很好,但在新的、未见过的数据上表现较差。
当C值较小时,模型会包含更多的观测值,允许使用所有数据来计算边界。这有助于提高模型的泛化能力,使其在新的、未见过的数据上表现更好。然而,如果C值过小,模型可能会欠拟合,即模型在训练数据上表现较差,无法捕捉到数据的真实分布。
因此,在实际应用中,需要根据具体问题和数据分布来选择合适的C值。通常,可以通过交叉验证来选择最佳的C值。此外,还可以使用网格搜索等方法来搜索最佳的C值。