Theil-Sen 回归是一种基于中位数的估计方法，它在处理包含异常值的数据集时表现出了很好的鲁棒性。与普通最小二乘法（OLS）相比，Theil-Sen 估计器对异常值的容忍度更高，其在简单线性回归情况下的破坏点约为29.3%，这意味着它可以容忍高达29.3%的任意损坏数据（异常值）在二维情况下。
模型的估计通过计算所有可能的 p 个子样本点组合的斜率和截距来完成。如果拟合截距，p 必须大于或等于 n_features + 1。最终的斜率和截距定义为这些斜率和截距的空间中位数。
在某些情况下，Theil-Sen 的表现优于 RANSAC，后者也是一种鲁棒方法。这在下面的第二个示例中得到了说明，其中相对于 x 轴的异常值干扰了 RANSAC。调整 RANSAC 的 residual_threshold 参数可以解决这个问题，但通常需要对数据和异常值的性质有先验知识。
由于 Theil-Sen 的计算复杂性，建议仅在样本数量和特征数量较小的问题上使用它。对于更大的问题，max_subpopulation 参数限制了所有可能的 p 个子样本点组合的数量到一个随机选择的子集，从而也限制了运行时间。因此，Theil-Sen 适用于更大的问题，但缺点是会失去一些数学属性，因为它在随机子集上工作。
import time
import matplotlib.pyplot as plt
import numpy as np
from sklearn.linear_model import LinearRegression, RANSACRegressor, TheilSenRegressor
estimators = [
("OLS", LinearRegression()),
("Theil-Sen", TheilSenRegressor(random_state=42)),
("RANSAC", RANSACRegressor(random_state=42)),
]
colors = {
"OLS": "turquoise",
"Theil-Sen": "gold",
"RANSAC": "lightgreen"
}
lw = 2
# Outliers only in the y direction
np.random.seed(0)
n_samples = 200
x = np.random.randn(n_samples)
w = 3.0
c = 2.0
noise = 0.1 * np.random.randn(n_samples)
y = w * x + c + noise
# 10% outliers
y[-20:] += -20 * x[-20:]
X = x[:, np.newaxis]
plt.scatter(x, y, color="indigo", marker="x", s=40)
line_x = np.array([-3, 3])
for name, estimator in estimators:
t0 = time.time()
estimator.fit(X, y)
elapsed_time = time.time() - t0
y_pred = estimator.predict(line_x.reshape(2, 1))
plt.plot(line_x, y_pred, color=colors[name], linewidth=lw, label="%s (fit time: %.2f s)" % (name, elapsed_time))
plt.axis("tight")
plt.legend(loc="upper left")
plt.title("Corrupt y")
# Outliers in the X direction
np.random.seed(0)
x = np.random.randn(n_samples)
noise = 0.1 * np.random.randn(n_samples)
y = 3 * x + 2 + noise
# 10% outliers
x[-20:] = 9.9
y[-20:] += 22
X = x[:, np.newaxis]
plt.figure()
plt.scatter(x, y, color="indigo", marker="x", s=40)
line_x = np.array([-3, 10])
for name, estimator in estimators:
t0 = time.time()
estimator.fit(X, y)
elapsed_time = time.time() - t0
y_pred = estimator.predict(line_x.reshape(2, 1))
plt.plot(line_x, y_pred, color=colors[name], linewidth=lw, label="%s (fit time: %.2f s)" % (name, elapsed_time))
plt.axis("tight")
plt.legend(loc="upper left")
plt.title("Corrupt x")
plt.show()
以上代码展示了如何在包含 y 方向和 x 方向异常值的数据集上应用 Theil-Sen 回归、普通最小二乘回归和 RANSAC 回归。通过比较不同回归方法的拟合时间和结果，可以观察到 Theil-Sen 回归在处理异常值时的优势。
代码中首先设置了随机种子以确保结果的可重复性，然后定义了样本数量和线性模型的参数。接着，通过添加异常值来模拟数据集中的噪声。最后，使用不同的回归方法对数据进行拟合，并绘制出拟合结果的图形。