儿童画作动画化技术揭秘

在这篇博客文章中，将揭示一种令人兴奋的创新方法，用于动画化儿童的人体画作。告别静态艺术，迎接动态动画！将提供Meta AI研究论文《儿童人体画作动画化方法》的简洁总结，介绍这项开创性技术。准备好发现Meta AI工具如何动画化儿童画作，将他们的想象力变为现实。不会想错过的！

目录

• 1. 研究概览
• 2. 框架理解
• 3.Meta AI动画工具的结果

1. 研究概览

Meta AI最近开发了一个框架，用于动画化儿童的人体画作。这是第一个能够自动创建儿童人体画作动画的实验。给定儿童的画作图像，它将人物角色转换为动画。

也有机会录制自己的视频，并将动画角色的动作与自己的物理动作同步。可以在这里尝试演示。

团队收集了178,166幅儿童画作的数据集，以及注释。注释包括边界框、分割掩码和关节位置注释。

研究的主要成果有两个：

• 开发一个动画化儿童人体画作的框架
• 构建第一个儿童画作的数据集

除此之外，他们还开源了整个代码，以便进一步开发和研究。

2. 框架理解

现在，让了解开发的框架。从儿童的人体画作中创建动画涉及四个主要步骤，如下所述。

第一步是从画作中检测人体，即识别人体及其在图像中的位置。这是一个目标检测问题，因为确切地知道人体在图像中的位置。

为了检测人体，研究人员使用了预训练模型（Mask R-CNN与ResNet50+FPN骨干网络）在MS COCO数据集上进行训练。MS COCO数据集包含330K张不同对象和类别（80个对象类别）的真实世界图像。模型架构没有定制。模型在包含儿童画作和人体周围的边界框的标记数据集上进行微调。

微调模型在自定义数据集上提高了检测性能。它有时也会产生不准确的检测。现在，将查看其中的一些。

下一步是将人体从图像中分割出来。这是过程中非常关键的一步，因为分割的角色用于创建2D纹理网格。2D纹理网格通常用于计算机图形学中创建逼真的三维对象。它通过将2D纹理（图像）应用到3D网格（形成对象表面的相互连接的三角形集合）上创建。

为了创建2D纹理网格，多边形必须是封闭的。这意味着结果的分割掩码也必须是封闭的多边形。

研究人员观察到Mask R CNN没有按预期提供结果。因此，使用传统的图像分割方法来分割人物。原因很简单，而且非常准确。

分割涉及的步骤包括：

• 图像调整大小：第一步是使用边界框裁剪画作中的人体，然后将其调整为400px的宽度，同时保持纵横比不变。
• 自适应阈值：将裁剪的图像转换为灰度图像，并进行自适应阈值处理。
• 形态学闭运算：形态学闭运算去除图像中的噪声，并连接前景像素。
• 膨胀：膨胀确保图像中的前景像素连接。
• 洪水填充：用白色像素填充封闭组的边缘，以确保边缘连接。
• 保留最大多边形：最后，根据面积保留最大的多边形。

下一步是定位人体的关键点。了解关键点将帮助创建所需的角色动作。将使用姿态估计来实现这一点。

当前可用的预训练模型不充分，因为它们旨在识别真实人物的姿势，而情况涉及人物画作，这与现实生活有很大不同。

因此，团队使用resnet 50作为骨干网络和关键点头部构建了自己的姿态检测模型，以自上而下的方式预测每个关键点的热图。

最后一步是根据分割掩码和姿态估计创建2D纹理网格和角色骨架。最后，角色骨架通过移动其关节并使用尽可能刚性（ARAP）算法调整角色网格到不同姿势，进行动画化。

研究人员首先单独评估了模型的性能，以

但这并不总是评估模型制作动画的最佳方式。