梦想照进现实,孩子们的手绘作品终于能跳舞了!
生成式 AI 的到来,正在把我们的梦想变成现实,在孩子的成长过程中,墙壁、纸张上常常布满了他们充满奇思妙想的手绘涂鸦,那些看似简单或夸张的人物形象,虽笔触稚嫩,却饱含着无尽的创造力与童趣。
曾经,这些手绘、涂鸦只能静静地躺在那里,如今,随着 AI 技术的快速发展,我们可以利用 AI 工具,将这些静态的作品,注入生命活力,让孩子们的手绘动起来,开启了一个全新的奇妙世界。
这个 AI 工具的就是,Animated Drawings,动画绘画,来自 Meta,主要功能就是让孩子们的手绘作品动起来。
我们先来看看官方的演示视频:
目前,这个工具完全免费,该技术也已经开源。
使用地址:
https://sketch.metademolab.com/
论文地址:
https://dl.acm.org/doi/10.1145/3592788
开源地址:
https://github.com/facebookresearch/AnimatedDrawings
01 技术原理
Animated Drawings 主要使用了一下技术实现(更详细的技术原理可以看以上论文):
目标检测:利用 Mask R - CNN 模型针对儿童绘画微调,精准定位手绘人物/角色,解决复杂背景及场景难题。
分割:鉴于儿童绘画特性,采用图像处理方法,经多步骤提取贴合人物轮廓掩码,肢体分离等情况会有挑战。
姿势估计:基于 ImageNet 预训练的 ResNet - 50 模型定制训练,识别 MS - COCO 中的 17 个关键点作为关节位置,受背景等因素干扰。
动画生成:依分割掩码与关节位置构建骨架网格,用处理后的动作捕捉数据驱动角色,依绘画特点选投影平面保障动画效果。
02 如何使用
打开网址(需要魔法)
https://sketch.metademolab.com/
第一步:上传图片
将孩子们的手绘作品,拍摄上传。
手绘的时候,我们应该注意:
确保纸张干净,没有褶皱。
拍照时,应该保持光线充足,能够捕捉到整个画面。
画作上不要出现敏感、暴力等信息。
第二步:框选目标
上传图片之后,点击“Next”,就会出现一个框选的蓝色框框,将我们的人物/角色都选上。
第三步:分割人物/角色和背景
这一步,主要是将我们手绘的人物/角色和背景分割开来,该功能会自动识别,不过有一些比较抽象的会识别不出来,我们可以使用下面的额铅笔和橡皮檫进行一些细节处理。
第四步:标记人物/角色的动作关节
通过拖拽的方式,我们可以调整画中的人物/角色的动作关节点,关系到后续的动作实现,不过一般不用做太多调整也可以出来很好的效果。
点击“Next”就完成了,根据左边的框框选择自己喜欢的动作,你的手绘静态作品就动起来了。
这样一个静态人物/角色就动起来了。
注意:我们在使用该网站的过程中,不要开启翻译,如果开了翻译,操作过程就会变成空白页面,我们又需要刷新重新操作。
03 开始整活丨实测 case
手绘毒液:
开心的像两百斤的毒液孩子:
毒液跳机械舞:
毛线团卡通手绘:
毛线团左右走路:
毛线团跳舞:
抽象人手绘:
抽象人打拳:
老爷爷过马路:
Last but not least
小时候,我们那些奇思妙想不再是仅仅存在我们大脑的片段,现在,AI 也不再是高高在上的技术,它可以让梦想照进现实,连接着孩子充满奇幻的内心世界与现实的重要介质。
让孩子们的想象力不再受限于纸张的静态,而是能够以鲜活的动画形式具象化呈现。这不仅为孩子们的创作增添了全新维度,更是在鼓励孩子们大胆创作、勇敢表达。
未来,是星辰大海。
让我们保护好自己以及孩子们的想象力。
关注公众号,用极客视角洞察未来!
往期精彩文章推荐: