在数据分析和建模中，经常需要将数据转换为满足特定分布假设的形式，例如正态分布。这种变换对于确保模型的有效性和准确性至关重要。本文将探讨如何使用PowerTransformer和QuantileTransformer将不同分布的数据映射到正态分布，并分析变换前后的数据可视化效果。
PowerTransformer是一种强大的数据变换工具，它可以通过Box-Cox和Yeo-Johnson方法将数据从各种分布映射到正态分布。这些方法特别适用于需要同质性和正态性的建模问题。例如，可以使用这些方法对对数正态、卡方、威布尔、高斯、均匀和双峰分布的数据进行变换。
然而，值得注意的是，尽管Box-Cox在对数正态和卡方分布上的表现似乎优于Yeo-Johnson，但它不支持负值输入。此外，即使某些变换方法在特定数据集上成功地将数据映射到正态分布，但在其他数据集上可能效果不佳。这突出了在变换前后对数据进行可视化的重要性。
与PowerTransformer不同，QuantileTransformer是一种非参数方法，它可以将任何任意分布的数据强制转换为高斯分布，前提是有足够的训练样本（数千个）。由于其非参数特性，与参数方法（如Box-Cox和Yeo-Johnson）相比，QuantileTransformer的结果更难解释。
在“小”数据集（少于几百个数据点）上，QuantileTransformer容易过拟合。因此，推荐在这种情况下使用PowerTransformer。
以下是一个使用Python和scikit-learn库实现数据变换的示例代码。这段代码首先生成了不同分布的数据样本，然后应用了Box-Cox、Yeo-Johnson和Quantile变换，并绘制了变换前后的数据直方图。
import matplotlib.pyplot as plt
import numpy as np
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import PowerTransformer, QuantileTransformer
N_SAMPLES = 1000
FONT_SIZE = 6
BINS = 30
rng = np.random.RandomState(304)
bc = PowerTransformer(method="box-cox")
yj = PowerTransformer(method="yeo-johnson")
qt = QuantileTransformer(n_quantiles=500, output_distribution="normal", random_state=rng)
size = (N_SAMPLES, 1)
X_lognormal = rng.lognormal(size=size)
X_chisq = rng.chisquare(df=3, size=size)
a = 50
X_weibull = rng.weibull(a=a, size=size)
loc = 100
X_gaussian = rng.normal(loc=loc, size=size)
X_uniform = rng.uniform(low=0, high=1, size=size)
loc_a, loc_b = 100, 105
X_a, X_b = rng.normal(loc=loc_a, size=size), rng.normal(loc=loc_b, size=size)
X_bimodal = np.concatenate([X_a, X_b], axis=0)
distributions = [
("Lognormal", X_lognormal),
("Chi-squared", X_chisq),
("Weibull", X_weibull),
("Gaussian", X_gaussian),
("Uniform", X_uniform),
("Bimodal", X_bimodal),
]
colors = ["#D81B60", "#0188FF", "#FFC107", "#B7A2FF", "#000000", "#2EC5AC"]
fig, axes = plt.subplots(nrows=8, ncols=3, figsize=plt.figaspect(2))
axes = axes.flatten()
axes_idxs = [(0, 3, 6, 9), (1, 4, 7, 10), (2, 5, 8, 11), (12, 15, 18, 21), (13, 16, 19, 22), (14, 17, 20, 23)]
axes_list = [(axes[i], axes[j], axes[k], axes[l]) for (i, j, k, l) in axes_idxs]
for distribution, color, axes in zip(distributions, colors, axes_list):
name, X = distribution
X_train, X_test = train_test_split(X, test_size=0.5)
X_trans_bc = bc.fit(X_train).transform(X_test)
lmbda_bc = round(bc.lambdas_[0], 2)
X_trans_yj = yj.fit(X_train).transform(X_test)
lmbda_yj = round(yj.lambdas_[0], 2)
X_trans_qt = qt.fit(X_train).transform(X_test)
ax_original, ax_bc, ax_yj, ax_qt = axes
ax_original.hist(X_train, color=color, bins=BINS)
ax_original.set_title(name, fontsize=FONT_SIZE)
ax_original.tick_params(axis="both", which="major", labelsize=FONT_SIZE)
for ax, X_trans, meth_name, lmbda in zip((ax_bc, ax_yj, ax_qt), (X_trans_bc, X_trans_yj, X_trans_qt), ("Box-Cox", "Yeo-Johnson", "Quantile transform"), (lmbda_bc, lmbda_yj, None)):
ax.hist(X_trans, color=color, bins=BINS)
title = "After {}".format(meth_name)
if lmbda is not None:
title += "\n$\\lambda$ = {}".format(lmbda)
ax.set_title(title, fontsize=FONT_SIZE)
ax.tick_params(axis="both", which="major", labelsize=FONT_SIZE)
ax.set_xlim([-3.5, 3.5])
plt.tight_layout()
plt.show()
这段代码首先导入了必要的库，然后定义了一些参数，如样本数量、字体大小和直方图的箱数。接着，它创建了PowerTransformer和QuantileTransformer的实例，并生成了不同分布的数据样本。然后，代码将数据集分为训练集和测试集，并应用了变换。最后，它绘制了变换前后的数据直方图。