模型可解释性指的是人类能够一致预测模型结果的程度。一个有意义的可解释模型比一个不透明的模型更值得信赖。原因有二：首先，商业用户不会仅仅因为计算机这么说就做出百万美元的决策。其次，数据科学家需要可解释的模型以确保数据收集或建模过程中没有错误，否则模型在评估中可能表现良好，但在生产中却彻底失败。
可解释性的重要性取决于模型的用户。在模型用于驱动解决方案的情况下，模型的准确性可能比可解释性更重要。数据产品通过实体或界面进行通信，消除了对可解释性的需求。然而，当人类是模型的用户时，可解释性就变得至关重要。
在误差范围较小的领域，可解释性非常重要。以金融领域为例，这是一个经验性社会科学领域，没有逻辑理由说明明天会与过去的任何一天相似，用户需要理解模型至关重要。例如，如果考虑违约概率模型，仅仅将客户分类为“好”或“坏”是不够的。贷款审批机构需要一个明确的评分卡来证明这种分类的依据。PD模型应该在所使用的变量方面是有意义的。
全局解释性与局部解释性
全局解释性：这种解释性水平是关于理解模型如何基于其特征和每个学习组件（如权重、其他参数和结构）的全局视图来做出决策。全局模型可解释性有助于理解目标结果的分布基于特征。对于PD模型，它有助于理解“好”或“坏”分类的基础。
局部解释性：这种解释性水平是关于理解模型的单个预测。比如说，如果想了解为什么某个特定客户被归类为“坏”，模型的局部解释性是必要的。
机器学习算法与传统统计模型
机器学习算法提高了预测准确性，超过了传统的统计模型。这些算法通常被归类为黑盒模型。在本文中，将讨论一些全局技术，这些技术帮助解释这些黑盒模型。
实现与解释
使用了UCI机器学习库中的信用卡客户违约数据集来解释。目标是对客户下个月的违约进行分类（是=1，否=0）。在预处理数据后，将数据分为训练和测试，测试大小为30%。数据使用sklearn.preprocessing中的StandardScaler()进行了标准化。使用了三个黑盒模型对客户进行分类——随机森林、XGBoost和支持向量分类器。取得了以下评估结果：
所有三个模型都给出了超过80%的准确率。现在让尝试全局解释方法，以确定特征重要性、特征效应和特征交互。
特征重要性：置换重要性
置换特征重要性衡量了在打乱特征值后模型预测误差的增加，这破坏了特征与真实结果之间的关系。置换特征重要性依赖于模型误差的测量。因此，在这里使用测试数据。
顶部的值是最重要的特征，底部的值是最不重要的。每一行的第一个数字显示了模型性能在随机洗牌后下降了多少（在这种情况下，使用“准确率”作为性能指标）。±后的数字测量了从一次重新洗牌到下一次的性能变化。
负值表示在打乱（或嘈杂）数据上的预测比真实数据更准确。当特征不重要时（应该有接近0的重要性），随机机会导致在打乱数据上的预测更准确。
特征效应：部分依赖图（PDP）
虽然特征重要性显示了哪些变量最影响预测，但部分依赖图显示了特征如何影响预测。像置换重要性一样，部分依赖图是在模型拟合后计算的。模型拟合在没有以任何方式人为操纵的真实数据上。
观察到随机森林与XGBoost之间的非类似行为。PDP的主要缺点是它们忽略了特征之间的相关性。另一种技术是ALE，它处理特征之间的相关性。
特征效应：累积局部效应（ALE）
累积局部效应描述了特征如何平均影响机器学习模型的预测。ALE图是部分依赖图（PDP）的更快、无偏的替代品。PDP有一个严格的假设：特征必须是不相关的。在现实世界场景中，特征通常是相关的，无论是因为一些特征直接从其他特征计算而来，还是因为观察到的现象产生相关的分布。
由Apley和Zhu（2016）首次提出的累积局部效应（或ALE）图通过使用实际的条件边际分布而不是考虑每个特征的边际分布来合理缓解这个问题。这在处理（即使是强烈）相关变量时更可靠。