决策树算法是监督学习算法家族中的一员，它既可以用于分类问题，也可以用于回归问题。该算法的目标是创建一个模型，预测目标变量的值，其中决策树使用树状结构来表示问题，叶节点对应于类别标签，属性则在树的内部节点中表示。
以一个包含14个病人数据的样本为例，需要预测应该给病人推荐哪种药物，A或B。假设选择胆固醇作为第一个属性来分割数据，根据胆固醇的高低，数据被分为两个分支：高和正常。然而，即使根据这种分割，也无法确定对于一个高胆固醇的新病人来说，药物B或药物A哪个更合适。同样，如果病人的胆固醇水平正常，也无法确定药物A或药物B哪个更适合。