在机器学习和数据挖掘领域，异常检测（也称为异常值检测或离群点检测）是一种识别不符合预期模式或与其他数据显著不同的数据点的重要技术。本文将探讨几种不同的异常检测算法在二维数据集上的表现，特别关注它们处理多模态数据的能力。多模态数据集包含一个或两个高密度区域，即数据的模式，这有助于评估算法在处理这类复杂数据时的效能。
为了模拟真实世界的数据环境，每个数据集中有15%的样本被生成为随机均匀噪声。这一比例对应于OneClassSVM中的nu参数以及其他异常检测算法中的污染参数。在展示算法性能时，内围点和异常点之间的决策边界用黑色表示，除了局部异常因子（LOF）算法，因为它没有预测方法可以应用于新数据。
OneClassSVM对于异常值非常敏感，因此在异常检测中表现并不理想。这种估计器最适合用于新事物检测，尤其是当训练集没有被异常值污染时。尽管如此，在高维空间或对内围数据分布没有任何假设的情况下进行异常检测是非常具有挑战性的，One-class SVM可能会根据其超参数的值在这些情况下提供有用的结果。
SGDOneClassSVM是基于随机梯度下降（SGD）实现的One-Class SVM。结合核近似，这个估计器可以用来近似解决核化OneClassSVM的问题。尽管两者并不完全相同，但SGDOneClassSVM和OneClassSVM的决策边界非常相似。使用SGDOneClassSVM的主要优势在于它与样本数量线性扩展。
EllipticEnvelope算法假设数据是高斯分布的，并学习一个椭圆。因此，当数据不是单峰时，性能会下降。然而，这个估计器对异常值是鲁棒的。IsolationForest和LocalOutlierFactor在多模态数据集上表现相当好。LocalOutlierFactor与其他估计器相比的优势在第三个数据集上显现出来，其中两个模式具有不同的密度。这一优势可以解释为LOF的局部特性，即它只比较一个样本的异常分数与其邻居的分数。
最后，对于最后一个数据集，很难说一个样本比另一个样本更异常，因为它们在超立方体中均匀分布。除了OneClassSVM稍微过拟合外，所有估计器在这种情况下都提供了不错的解决方案。在这种情况下，仔细查看样本的异常分数是明智的，因为一个好的估计器应该为所有样本分配相似的分数。
import time
import matplotlib.pyplot as plt
import numpy as np
from sklearn import svm
from sklearn.covariance import EllipticEnvelope
from sklearn.datasets import make_blobs, make_moons
from sklearn.ensemble import IsolationForest
from sklearn.kernel_approximation import Nystroem
from sklearn.linear_model import SGDOneClassSVM
from sklearn.neighbors import LocalOutlierFactor
from sklearn.pipeline import make_pipeline
# 设置
n_samples = 300
outliers_fraction = 0.15
n_outliers = int(outliers_fraction * n_samples)
n_inliers = n_samples - n_outliers
# 定义异常检测方法
anomaly_algorithms = [
("Robust covariance", EllipticEnvelope(contamination=outliers_fraction, random_state=42)),
("One-Class SVM", svm.OneClassSVM(nu=outliers_fraction, kernel="rbf", gamma=0.1)),
("One-Class SVM (SGD)", make_pipeline(Nystroem(gamma=0.1, random_state=42, n_components=150), SGDOneClassSVM(nu=outliers_fraction, shuffle=True, fit_intercept=True, random_state=42, tol=1e-6))),
("Isolation Forest", IsolationForest(contamination=outliers_fraction, random_state=42)),
("Local Outlier Factor", LocalOutlierFactor(n_neighbors=35, contamination=outliers_fraction)),
]
# 定义数据集
datasets = [
make_blobs(centers=[[0, 0], [0, 0]], cluster_std=0.5, random_state=0, n_samples=n_inliers)[0],
make_blobs(centers=[[2, 2], [-2, -2]], cluster_std=[0.5, 0.5], random_state=0, n_samples=n_inliers)[0],
make_blobs(centers=[[2, 2], [-2, -2]], cluster_std=[1.5, 0.3], random_state=0, n_samples=n_inliers)[0],
4.0 * (make_moons(n_samples=n_samples, noise=0.05, random_state=0)[0] - np.array([0.5, 0.25])),
14.0 * (np.random.RandomState(42).rand(n_samples, 2) - 0.5),
]
# 比较给定分类器在给定设置下的表现
xx, yy = np.meshgrid(np.linspace(-7, 7, 150), np.linspace(-7, 7, 150))
plt.figure(figsize=(len(anomaly_algorithms) * 2 + 4, 12.5))
plt.subplots_adjust(left=0.02, right=0.98, bottom=0.001, top=0.96, wspace=0.05, hspace=0.01)
for i_dataset, X in enumerate(datasets):
# 添加异常值
X = np.concatenate([X, np.random.RandomState(42).uniform(low=-6, high=6, size=(n_outliers, 2))], axis=0)
for name, algorithm in anomaly_algorithms:
t0 = time.time()
algorithm.fit(X)
t1 = time.time()
plt.subplot(len(datasets), len(anomaly_algorithms), plot_num)
if i_dataset == 0:
plt.title(name, size=18)
# 拟合数据并标记异常值
if name == "Local Outlier Factor":
y_pred = algorithm.fit_predict(X)
else:
y_pred = algorithm.fit(X).predict(X)
# 绘制等高线和点
if name != "Local Outlier Factor":
Z = algorithm.predict(np.c_[xx.ravel(), yy.ravel()])
Z = Z.reshape(xx.shape)
plt.contour(xx, yy, Z, levels=[0], linewidths=2, colors="black")
colors = np.array(["#377eb8", "#ff7f00"])
plt.scatter(X[:, 0], X[:, 1], s=10, color=colors[(y_pred + 1) // 2])
plt.xlim(-7, 7)
plt.ylim(-7, 7)
plt.xticks(())
plt.yticks(())
plt.text(0.99, 0.01, "%.2fs" % (t1 - t0).lstrip("0"), transform=plt.gca().transAxes, size=15, horizontalalignment="right")
plot_num += 1
plt.show()