在机器学习领域，分类问题是一种常见的任务，其目的是根据输入数据预测其类别标签。逻辑回归和线性回归是两种常用的分类方法。本文将通过一个简单的数据集，展示如何使用这两种模型进行分类，并比较它们的性能。
首先，需要生成一个包含噪声的简单数据集。这个数据集是一个直线，其中大于0的点被标记为类别1，小于或等于0的点被标记为类别0。使用高斯噪声来增加数据的复杂性。
import matplotlib.pyplot as plt
import numpy as np
from scipy.special import expit
from sklearn.linear_model import LinearRegression, LogisticRegression
# 生成简单的数据集
xmin, xmax = -5, 5
n_samples = 100
np.random.seed(0)
X = np.random.normal(size=n_samples)
y = (X > 0).astype(float)
X[X > 0] *= 4
X += 0.3 * np.random.normal(size=n_samples)
X = X[:, np.newaxis]
接下来，使用逻辑回归模型来拟合这个数据集。逻辑回归是一种线性分类器，它使用逻辑函数（sigmoid函数）来预测概率。设置了正则化参数C为一个较大的值，以减少过拟合的风险。
# 拟合逻辑回归模型
clf = LogisticRegression(C=1e5)
clf.fit(X, y)
然后，绘制了数据点和逻辑回归模型的预测结果。还绘制了线性回归模型的预测结果作为对比。线性回归模型试图找到最佳拟合直线，但它不考虑类别标签，因此可能不是一个好的分类器。
# 绘制结果
plt.figure(1, figsize=(4, 3))
plt.clf()
plt.scatter(X.ravel(), y, label="示例数据", color="black", zorder=20)
X_test = np.linspace(-5, 10, 300)
loss = expit(X_test * clf.coef_ + clf.intercept_).ravel()
plt.plot(X_test, loss, label="逻辑回归模型", color="red", linewidth=3)
ols = LinearRegression()
ols.fit(X, y)
plt.plot(X_test, ols.coef_ * X_test + ols.intercept_, label="线性回归模型", linewidth=1)
plt.axhline(0.5, color=".5")
plt.ylabel("y")
plt.xlabel("X")
plt.xticks(range(-5, 10))
plt.yticks([0, 0.5, 1])
plt.ylim(-0.25, 1.25)
plt.xlim(-4, 10)
plt.legend(loc="lower right", fontsize="small")
plt.tight_layout()
plt.show()
通过比较这两种模型的预测结果，可以看到逻辑回归模型能够更好地捕捉数据的分类边界。线性回归模型虽然能够找到数据的线性趋势，但它不能很好地区分两个类别。这表明在处理分类问题时，选择合适的模型是非常重要的。
总的来说，逻辑回归模型在处理二分类问题时具有明显的优势。它不仅能够提供类别预测，还能给出属于每个类别的概率。这使得逻辑回归在许多实际应用中，如信用评分、疾病诊断等领域，得到了广泛的应用。