KNN算法是监督式机器学习中流行且表现优异的算法之一。由于其速度和准确性，KNN算法在所有开发的算法中使用最为广泛。因此，在数据科学面试中，可能会提出关于K最近邻算法的深入问题。本文将讨论并解答与K最近邻算法相关的高级面试问题。
在几乎所有的机器学习算法中，算法首先在训练数据上进行训练，然后根据之前准备的数据集进行预测。K最近邻是一种机器学习聚类算法，通过计算特定点与其他点的距离，将训练数据划分为特定数量的簇。在进行预测时，它会再次计算问题的长度，并尝试在特定簇中解决问题以进行预测。
有两种机器学习算法：懒惰学习和急切学习。懒惰学习是一种不训练提供的训练数据的机器学习算法。相反，当算法被要求预测时，它只针对训练数据集进行训练。而在急切学习算法中，算法在提供训练数据时尝试教授训练数据。然后，当新的查询被要求预测时，算法基于之前的数据进行预测。K最近邻也存储训练数据。然后，在预测阶段，该算法计算查询点与其他点的距离，并尝试将簇分配给特定主题。因此，它只在系统被查询时对数据进行训练，这就是为什么它被称为懒惰学习算法。
由于懒惰学习算法存储数据，因此需要更多的空间。这就是为什么KNN需要更多的空间来存储数据。KNN之所以速度快，是因为它不对训练数据进行训练，所以KNN的训练非常快。由于KNN在预测阶段对训练数据进行训练，因此KNN算法的预测往往非常慢。
K最近邻是一种非参数算法，在训练和测试数据集时不作任何初步假设。像线性回归、逻辑回归和朴素贝叶斯这样的参数机器学习算法会做出初步假设，比如数据应该是线性的，或者数据集中不应该有多重共线性。因此，如果满足它们做出的假设，只能使用它们。例如，如果数据不是线性的，那么线性回归就不能应用；如果数据集有多重共线性，那么朴素贝叶斯就不能应用。
但在KNN算法的情况下，由于它是一种非参数算法，它不对数据集做出任何初步假设，因此它可以应用于任何数据集，并且也能返回好的结果。这就是KNN算法灵活性的主要原因。
如果更倾向于灵活性，那么KNN将是最佳选择，但它在效率方面也有缺点。假设某人希望模型具有特定的效率，那么他应该选择其他可用的算法，因为与不同的机器学习算法相比，KNN并不是一个非常高效的机器学习算法。由于KNN是一种懒惰学习算法，它通常存储输入或训练数据，并且在输入训练数据时不进行训练。相反，当预测查询被提出时，它才进行训练，这是预测阶段时间复杂度更高的主要原因。而一些急切学习算法，如线性回归，可以立即在训练数据上进行训练并快速预测数据。因此，由于这个原因，KNN被认为比其他机器学习算法效率低。
知道K最近邻是一种基于距离的机器学习算法，它计算点之间的欧几里得距离并返回输出。在某些情况下，数据集的特征尺度可能非常不同；在这种情况下，点之间的距离也会非常高或非常低。因此，欧几里得长度中会有错误或噪声数据；因此，算法将表现不佳。例如，有一个包含人的年龄和薪水的数据集，现在，年龄可能从0到99，薪水可能以万或亿为单位。所以在这里，两个特征之间的尺度差异很大，所以它也会影响欧几里得距离，因此如果数据没有归一化，算法将表现不佳。
现在，如果数据被归一化，那么所有值都将在0和1之间。因此，在相同的数据尺度上计算欧几里得距离将对算法来说非常容易，因此模型将表现良好。
KNN算法中的K值意味着邻居的数量。假设K的值是3。那么希望模型训练时考虑三个邻居。让考虑一个K值非常小的情况，比如说1。在这种情况下，将只考虑一个邻居来训练模型。因此，将创建许多簇，模型将尝试适应数据集中的每个数据点，导致在训练数据上表现良好，在测试数据上表现不佳。