在机器学习中，数据预处理和特征提取是构建有效模型的关键步骤。数据预处理包括对原始数据进行清洗、转换和规范化，以提高模型的性能和准确性。特征提取则是从原始数据中生成新的特征表示，以增强模型的预测能力。这些步骤通常由一系列转换器（transformers）来实现，它们可以串联或并联使用，以构建复杂的数据处理流程。
转换器是机器学习中用于数据预处理和特征提取的工具。它们通常具有fit方法，用于从训练数据中学习模型参数，以及transform方法，用于将学习到的转换模型应用于新的数据。有时，为了提高效率和方便性，可以使用fit_transform方法同时进行模型训练和数据转换。此外，转换器可以组合使用，形成数据处理的流水线（pipelines）或复合估计器（composite estimators）。
特征空间的转换涉及到将特征空间映射到相似性矩阵，这通常通过成对度量、亲和力和核函数来实现。例如，余弦相似度、线性核、多项式核和径向基函数（RBF）核等都是常用的核函数。这些核函数可以将原始特征空间转换为新的表示形式，以便于模型更好地捕捉数据中的复杂关系。
在某些情况下，目标变量（如分类标签）也需要进行转换。例如，在回归问题中，可能需要对目标变量进行标准化或归一化处理。在分类问题中，可以使用标签二值化或标签编码等方法来转换目标变量。这些转换有助于提高模型的泛化能力和预测性能。
数据预处理技术包括标准化、非线性变换、归一化、编码分类特征、离散化、缺失值插补和生成多项式特征等。这些技术可以单独使用，也可以组合使用，以适应不同的数据特点和模型需求。例如，标准化可以去除数据的均值并缩放方差，使其具有统一的尺度；归一化则可以将数据缩放到特定的范围，如[0, 1]或[-1, 1]。编码分类特征是将非数值型数据转换为数值型数据，以便于模型处理。缺失值插补则是对数据中的缺失值进行估计和填充，以避免模型训练时出现问题。
特征提取方法包括从字典中加载特征、特征哈希、文本特征提取和图像特征提取等。这些方法可以从原始数据中提取出有用的信息，并将其转换为模型可以处理的特征表示。例如，特征哈希是一种将高维数据映射到低维空间的技术，它通过哈希函数将特征值映射到一个固定大小的向量中。文本特征提取则是从文本数据中提取出关键词、短语或其他有意义的信息，以表示文本内容。图像特征提取则是从图像数据中提取出颜色、纹理、形状等特征，以表示图像内容。
无监督降维技术，如主成分分析（PCA）、随机投影和特征聚合等，可以用于减少数据的维度，同时尽量保留数据中的重要信息。这些技术可以提高模型的训练效率和预测性能，尤其是在处理高维数据时。例如，PCA通过线性组合原始特征来提取出最重要的几个主成分，这些主成分可以作为新的特征表示，用于后续的模型训练和预测。
核近似方法，如Nystroem方法、径向基函数（RBF）核、加性卡方核和多项式核近似等，可以用于近似复杂的核函数，以提高模型的计算效率。这些方法通过近似核函数来降低模型的计算复杂度，同时尽量保留核函数的表达能力。例如，Nystroem方法通过随机采样和近似核矩阵来实现核函数的近似，从而避免了直接计算核矩阵的高成本。
成对度量、亲和力和核函数是机器学习中用于衡量数据点之间相似性或差异性的工具。这些工具可以用于聚类、分类、回归等不同的机器学习任务。例如，余弦相似度是一种衡量向量之间角度差异的度量，它在文本和图像处理中非常常用。线性核、多项式核和RBF核等核函数则可以用于衡量数据点之间的相似性，它们在支持向量机（SVM）等模型中发挥着重要作用。
缺失值处理是数据预处理中的一个重要环节，它涉及到对数据中的缺失值进行估计和填充。缺失值处理方法包括单变量插补、多变量插补、最近邻插补等。这些方法可以根据数据的特点和模型的需求来选择。例如，单变量插补是针对单个特征进行插补，而多变量插补则是同时考虑多个特征之间的关系。最近邻插补则是根据数据点之间的相似性来估计缺失值。
在某些情况下，现有的转换器可能无法满足特定的数据处理需求。这时，可以创建自定义转换器来实现特定的数据转换逻辑。自定义转换器需要实现fit、transform和fit_transform方法，以便于与其他转换器一起使用。例如，可以创建一个自定义转换器来实现特定的数据清洗逻辑，或者实现特定的特征提取方法。