Geek Savvy

梦想照进现实,孩子们的手绘作品终于能跳舞了!

Image

生成式 AI 的到来,正在把我们的梦想变成现实,在孩子的成长过程中,墙壁、纸张上常常布满了他们充满奇思妙想的手绘涂鸦,那些看似简单或夸张的人物形象,虽笔触稚嫩,却饱含着无尽的创造力与童趣。

曾经,这些手绘、涂鸦只能静静地躺在那里,如今,随着 AI 技术的快速发展,我们可以利用 AI 工具,将这些静态的作品,注入生命活力,让孩子们的手绘动起来,开启了一个全新的奇妙世界。

Image

这个 AI 工具的就是,Animated Drawings,动画绘画,来自 Meta,主要功能就是让孩子们的手绘作品动起来。

我们先来看看官方的演示视频:

目前,这个工具完全免费,该技术也已经开源。

使用地址:

https://sketch.metademolab.com/

论文地址:

https://dl.acm.org/doi/10.1145/3592788

开源地址:

https://github.com/facebookresearch/AnimatedDrawings

01 技术原理

Animated Drawings 主要使用了一下技术实现(更详细的技术原理可以看以上论文):

  • 目标检测:利用 Mask R - CNN 模型针对儿童绘画微调,精准定位手绘人物/角色,解决复杂背景及场景难题。 

  • 分割:鉴于儿童绘画特性,采用图像处理方法,经多步骤提取贴合人物轮廓掩码,肢体分离等情况会有挑战。 

  • 姿势估计:基于 ImageNet 预训练的 ResNet - 50 模型定制训练,识别 MS - COCO 中的 17 个关键点作为关节位置,受背景等因素干扰。 

  • 动画生成:依分割掩码与关节位置构建骨架网格,用处理后的动作捕捉数据驱动角色,依绘画特点选投影平面保障动画效果。

02 如何使用

打开网址(需要魔法)
https://sketch.metademolab.com/

第一步:上传图片

将孩子们的手绘作品,拍摄上传。

手绘的时候,我们应该注意:

  • 确保纸张干净,没有褶皱。

  • 拍照时,应该保持光线充足,能够捕捉到整个画面。

  • 画作上不要出现敏感、暴力等信息。

Image

第二步:框选目标

上传图片之后,点击“Next”,就会出现一个框选的蓝色框框,将我们的人物/角色都选上。

Image

第三步:分割人物/角色和背景

这一步,主要是将我们手绘的人物/角色和背景分割开来,该功能会自动识别,不过有一些比较抽象的会识别不出来,我们可以使用下面的额铅笔和橡皮檫进行一些细节处理。

Image

第四步:标记人物/角色的动作关节

通过拖拽的方式,我们可以调整画中的人物/角色的动作关节点,关系到后续的动作实现,不过一般不用做太多调整也可以出来很好的效果。

Image

点击“Next”就完成了,根据左边的框框选择自己喜欢的动作,你的手绘静态作品就动起来了。

Image

这样一个静态人物/角色就动起来了。

Image

注意:我们在使用该网站的过程中,不要开启翻译,如果开了翻译,操作过程就会变成空白页面,我们又需要刷新重新操作。

03 开始整活丨实测 case

手绘毒液:

Image

开心的像两百斤的毒液孩子:

Image

毒液跳机械舞:

Image

毛线团卡通手绘:

Image

毛线团左右走路:

Image

毛线团跳舞:

Image

抽象人手绘:

Image

抽象人打拳:

Image

老爷爷过马路:

Image

Last but not least

小时候,我们那些奇思妙想不再是仅仅存在我们大脑的片段,现在,AI 也不再是高高在上的技术,它可以让梦想照进现实,连接着孩子充满奇幻的内心世界与现实的重要介质。

让孩子们的想象力不再受限于纸张的静态,而是能够以鲜活的动画形式具象化呈现。这不仅为孩子们的创作增添了全新维度,更是在鼓励孩子们大胆创作、勇敢表达。

未来,是星辰大海。

让我们保护好自己以及孩子们的想象力。


关注公众号,用极客视角洞察未来!

Image

往期精彩文章推荐:

1.为什么说MCP协议的价值被远远被低估?

2.吴恩达最新分享丨用AI辅助编程打造软件原型的最佳实践

3.科大讯飞打响了2025AI智能体第一枪!