在机器学习中，正则化是一种防止模型过拟合的技术。通过引入惩罚项，可以控制模型的复杂度。L1、L2和Elastic-Net是常见的正则化方法。本文将探讨这些方法在不同正则化参数C值下对模型系数稀疏性的影响。
使用8x8的数字图像作为数据集，将数字分为0-4和5-9两个类别。通过可视化模型的系数，可以观察到不同C值对模型的影响。当C值较大时，模型的自由度较高；而C值较小时，模型受到更多限制。在L1惩罚的情况下，这会导致更稀疏的解。正如预期的那样，Elastic-Net惩罚的稀疏性介于L1和L2之间。
在实验中，设定了三个不同的C值：1.00、0.10和0.01。对于每个C值，分别使用L1、Elastic-Net和L2惩罚来训练模型，并计算了模型的稀疏性和准确率。结果显示，随着C值的减小，L1和Elastic-Net惩罚的稀疏性增加，而L2惩罚的稀疏性保持较低。在所有情况下，三种惩罚方法的准确率都保持在较高水平。
以下是使用Python进行数字图像分类的示例代码。首先，导入必要的库，包括matplotlib、numpy和sklearn。然后，加载数字图像数据集，并使用标准化方法对数据进行预处理。接下来，定义了L1、L2和Elastic-Net惩罚的逻辑回归模型，并训练这些模型。最后，计算了模型的稀疏性和准确率，并使用matplotlib可视化了模型的系数。
import matplotlib.pyplot as plt
import numpy as np
from sklearn import datasets
from sklearn.linear_model import LogisticRegression
from sklearn.preprocessing import StandardScaler
# 加载数字图像数据集
X, y = datasets.load_digits(return_X_y=True)
X = StandardScaler().fit_transform(X)
# 将数字分为0-4和5-9两个类别
y = (y > 4).astype(int)
# 设置Elastic-Net正则化的L1权重
l1_ratio = 0.5
# 创建子图
fig, axes = plt.subplots(3, 3)
# 设置正则化参数C的值
for i, (C, axes_row) in enumerate(zip((1, 0.1, 0.01), axes)):
# 定义L1、L2和Elastic-Net惩罚的逻辑回归模型
clf_l1_LR = LogisticRegression(C=C, penalty="l1", tol=0.01, solver="saga")
clf_l2_LR = LogisticRegression(C=C, penalty="l2", tol=0.01, solver="saga")
clf_en_LR = LogisticRegression(C=C, penalty="elasticnet", solver="saga", l1_ratio=l1_ratio, tol=0.01)
# 训练模型
clf_l1_LR.fit(X, y)
clf_l2_LR.fit(X, y)
clf_en_LR.fit(X, y)
# 计算模型的系数
coef_l1_LR = clf_l1_LR.coef_.ravel()
coef_l2_LR = clf_l2_LR.coef_.ravel()
coef_en_LR = clf_en_LR.coef_.ravel()
# 计算模型的稀疏性
sparsity_l1_LR = np.mean(coef_l1_LR == 0) * 100
sparsity_l2_LR = np.mean(coef_l2_LR == 0) * 100
sparsity_en_LR = np.mean(coef_en_LR == 0) * 100
# 打印模型的稀疏性和准确率
print(f"C={C:.2f}")
print(f"Sparsity with L1 penalty: {sparsity_l1_LR:.2f}%")
print(f"Sparsity with Elastic-Net penalty: {sparsity_en_LR:.2f}%")
print(f"Sparsity with L2 penalty: {sparsity_l2_LR:.2f}%")
print(f"Score with L1 penalty: {clf_l1_LR.score(X, y):.2f}")
print(f"Score with Elastic-Net penalty: {clf_en_LR.score(X, y):.2f}")
print(f"Score with L2 penalty: {clf_l2_LR.score(X, y):.2f}")
# 可视化模型的系数
if i == 0:
axes_row[0].set_title("L1 penalty")
axes_row[1].set_title("Elastic-Net\nl1_ratio=%s" % l1_ratio)
axes_row[2].set_title("L2 penalty")
for ax, coefs in zip(axes_row, [coef_l1_LR, coef_en_LR, coef_l2_LR]):
ax.imshow(np.abs(coefs.reshape(8, 8)), interpolation="nearest", cmap="binary", vmax=1, vmin=0)
ax.set_xticks(())
ax.set_yticks(())
axes_row[0].set_ylabel(f"C={C}")
# 显示图像
plt.show()