在任何业务中，处理那些不再可访问且无法利用的原始数据至关重要。这些数据需要被有效处理以发挥其价值。这时，数据整理就显得尤为重要，它能够将无用的原始数据转化为有价值的数据，进而产生有价值的信息。数据整理的每一步都是为了进行尽可能好的分析。预期的结果是生成一个健壮且可靠的数据分析结果。
数据整理，也被称为数据清洗，是将一种类型的数据清洗和转换为另一种类型，使其更适合于处理的格式。数据整理涉及处理各种格式的数据，并分析它们，以便将它们与另一组数据结合起来，形成有价值的洞察。它还包括数据聚合、数据可视化和训练统计模型进行预测。数据整理是数据科学过程中最重要的步骤之一。数据分析的质量取决于数据本身的质量，因此保持数据质量非常重要。整理不仅仅是整理，它和实际的分析过程一样重要，是分析数据过程中的关键部分。
数据整理至关重要，被认为是整个分析部分的支柱。数据整理的主要目的是使原始数据可用。换句话说，就是将数据塑造成某种形状。平均来说，数据科学家花费75%的时间在数据整理上，这一点也不奇怪。数据整理的重要需求包括确保数据质量、支持及时决策和加快数据洞察、清理有噪声、有缺陷和缺失的数据、使结果数据集有意义，因为它收集了作为数据挖掘过程准备阶段的数据、通过清理和结构化原始数据到所需格式来帮助做出具体决策、将原始数据拼接成所需格式、为了创建一个透明高效的数据管理系统，最好的解决方案是将所有数据集中到一个中心位置，以便在提高合规性中使用、数据整理有助于迅速做出决策，并帮助整理者清理、丰富和转换数据成完美画面。
1. 发现：发现是指整个分析过程，它是学习如何使用数据进行探索的好方法，它带来了最好的分析探索方法。这是一个需要更深入理解数据的步骤。基于某些标准，必须进行整理，将其相应地划分。在数据世界中，学会找出圣杯是至关重要的。
2. 结构化：原始数据是随意给出的。在大多数情况下，它不会有任何结构，因为原始数据来自许多不同形状和大小的格式。一个人不能在干草堆中找针，因此需要正确地重新组织数据。数据必须以这样的方式组织，以便分析尝试在其分析部分中使用它。
3. 清理：在这里进行高质量的分析，每一块数据都被仔细检查，去除不适合分析的冗余数据。包含空值的数据必须被更改为一个空字符串或零，并且格式化将被标准化，以提高数据质量。数据清理或补救的目标是确保最终数据不会被最终分析所采用的方式影响。
4. 丰富：丰富就像给数据增加一些意义。在这一步中，数据从已经从清理中格式化的数据中衍生出新的数据类型。这是需要在手中制定战略的地方，以确保拥有的是最好的丰富的数据。获得精炼数据的最佳方式是向下采样、向上扩展，最后预测数据。
5. 验证：为了分析和评估特定数据集的数据质量，使用数据质量规则。处理数据后，验证质量和一致性，这为安全问题建立了一个强大的表面。这些需要沿着多个维度进行，并遵守语法约束。
6. 发布：数据整理的最后部分是发布，它给出了整个整理过程的唯一目的。分析师准备整理后的数据，这些数据将用于后续的分析。最终的数据必须符合最终数据目标的格式。现在，经过处理的数据可以用于分析。
# 数据探索
# 可视化数据以分析和理解数据
# 处理缺失值
# 在数据集中的marks列中，将空值替换为平均值
c = avg = 0
for ele in df['Marks']:
if str(ele).isnumeric():
c += 1
avg += ele
avg /= c
df = df.replace(to_replace="NaN", value=avg)
# 重塑数据
# 将性别列的分类值转换为数值
df['Gender'] = df['Gender'].map({'M': 0, 'F': 1}).astype(float)
# 过滤数据
# 过滤出得分高的学生，并移除年龄列
df = df[df['Marks'] >= 75]
df = df.drop(['Age'], axis=1)