在机器学习中，支持向量机（SVM）是一种常用的分类算法。它通过找到一个最大化间隔的超平面来区分不同类别的数据点。然而，在某些情况下，可能希望对某些数据点赋予更多的权重，以便在分类过程中更加关注这些点。这种技术被称为样本权重调整。通过调整样本权重，可以改变分类器对不同数据点的关注度，从而影响决策边界的形状。
在下面的Python代码示例中，使用matplotlib和numpy库来绘制决策边界，并使用sklearn库中的svm模块来训练SVM分类器。首先定义了一个函数plot_decision_function，该函数接受一个分类器、样本权重和一个绘图轴作为参数，并绘制出决策函数。然后，生成了20个随机点，并为这些点分配了标签。接着，为最后10个点分配了更大的权重，以观察这些权重如何影响决策边界。
import matplotlib.pyplot as plt
import numpy as np
from sklearn import svm
def plot_decision_function(classifier, sample_weight, axis, title):
# 绘制决策函数
xx, yy = np.meshgrid(np.linspace(-4, 5, 500), np.linspace(-4, 5, 500))
Z = classifier.decision_function(np.c_[xx.ravel(), yy.ravel()])
Z = Z.reshape(xx.shape)
# 绘制线、点和最近向量到平面
axis.contourf(xx, yy, Z, alpha=0.75, cmap=plt.cm.bone)
axis.scatter(X[:, 0], X[:, 1], c=y, s=100*sample_weight, alpha=0.9, cmap=plt.cm.bone, edgecolors="black")
axis.axis("off")
axis.set_title(title)
# 创建20个点
np.random.seed(0)
X = np.r_[np.random.randn(10, 2) + [1, 1], np.random.randn(10, 2)]
y = [1]*10 + [-1]*10
sample_weight_last_ten = abs(np.random.randn(len(X)))
sample_weight_constant = np.ones(len(X))
# 为一些异常值赋予更大的权重
sample_weight_last_ten[15:] *= 5
sample_weight_last_ten[9] *= 15
# 拟合模型
# 此模型不考虑样本权重
clf_no_weights = svm.SVC(gamma=1)
clf_no_weights.fit(X, y)
# 此模型考虑一些特定的样本权重
clf_weights = svm.SVC(gamma=1)
clf_weights.fit(X, y, sample_weight=sample_weight_last_ten)
fig, axes = plt.subplots(1, 2, figsize=(14, 6))
plot_decision_function(clf_no_weights, sample_weight_constant, axes[0], "恒定权重")
plot_decision_function(clf_weights, sample_weight_last_ten, axes[1], "修改后的权重")
plt.show()
从上面的代码中，可以看到，当为最后10个点赋予更大的权重时，决策边界的形状发生了明显的变化。这是因为分类器在训练过程中更加关注这些点，从而使得决策边界向这些点的方向偏移。这种技术可以用于处理那些具有异常值的数据集，通过赋予异常值更大的权重，可以使得分类器更加关注这些点，从而提高分类的准确性。
总的来说，样本权重调整是一种有效的技术，可以帮助在支持向量机中更好地处理不平衡数据集和异常值。通过调整样本权重，可以改变分类器对不同数据点的关注度，从而影响决策边界的形状。这种方法在实际应用中具有广泛的应用前景，特别是在那些数据点具有不同重要性的情况下。
需要注意的是，样本权重调整并不总是能够提高分类的准确性。在某些情况下，过度关注某些点可能会导致过拟合，从而降低模型的泛化能力。因此，在实际应用中，需要根据具体情况来选择合适的样本权重，并进行适当的调整。此外，样本权重调整也可以用来处理那些具有不同类别不平衡的数据集，通过赋予少数类别更大的权重，可以使得分类器更加关注这些类别，从而提高分类的准确性。