在本文中，将探讨如何使用支持向量机（SVM）进行多类分类。首先，将解释多类分类的含义，并讨论SVM是如何应用于多类分类问题的。最后，将展示如何使用Python的sklearn库来实现SVM进行多类分类的代码。本文将重点讨论如何将二分类器扩展为多分类器的问题。
多类分类是指机器学习模型需要将实例分类为三个或更多类别中的一种。例如，将文本分类为正面、负面或中性。学习目标包括理解多类分类的概念及其在解决复杂分类问题中的重要性，探索支持向量机（SVM）的基础知识及其在多类分类任务中的作用，识别并比较使用SVM进行多类分类的三种流行方法：一对一（OVO）、一对多（OVA）和有向无环图（DAG）。将深入了解每种方法的工作原理，包括它们的优势、挑战和实现策略，并认识到正则化、核函数和优化技术等关键方面及其对多类SVM性能的影响。
SVM是一种监督机器学习算法，用于分类和回归问题。它试图在不同类别之间找到最优的边界（称为超平面）。简而言之，SVM根据选定的核函数进行复杂的数据转换，并基于这些转换，旨在最大化数据点之间的分离边界。在最简单的形式中，当存在线性分离时，SVM试图找到一条线，最大化二维空间中两个类别数据集的分离。SVM的目标是找到一个超平面，最大化数据点与其实际类别在n维空间中的分离。距离超平面最近的点称为支持向量。
SVM的基本类型不支持多类分类。对于多类分类，同样的原理被用来将多分类问题分解成更小的子问题，所有这些子问题都是二分类问题。使用SVM（多类支持向量机）进行多分类的流行方法包括一对一（OVO）、有向无环图（DAG）和一对多（OVA）方法。下面将详细讨论这些方法。
这种方法将多类分类问题分解为二分类子问题。因此，为每对类别获得二分类器。在最终预测时，使用多数投票以及与边界的距离作为置信度标准。然而，这种方法的一个显著缺点是必须训练大量的SVM。在多类/多标签问题中，如果有L个类别，考虑第（s，t）个分类器：正样本是类别s中的所有点（{ xi: s ∈ yi }），负样本是类别t中的所有点（{ xi: t ∈ yi }），fs,t(x)是这个分类器的决策值（fs,t(x)的值大表示标签s的概率高于标签t）。预测：f(x) = argmax s ( Σ t fs,t(x) )。