ZH
搜索
图片来源:ai.facebook.com

Meta研究人员开发出可让儿童绘画动起来的AI系统

孩子们画出的角色往往独一无二又别具一格,激发我们的想象力,也让我们换一种方式去辨认画中的人和物。对父母或老师来说,看懂孩子画的是什么可能相当容易,但人工智能却做不到这一点。 

儿童画常常以抽象、奇特的方式创作,因此,如果人物的腿位置不稳,或者两只手都画在身体同一侧,即便是那些擅长在照片级逼真图像和绘画中识别物体的现代人工智能系统,也会感到困惑。

Meta的研究人员正致力于克服这一难题,使人工智能系统能够更好地识别孩子们以各种方式绘制的人物画。他们宣布了一种同类首创的方法,可自动为手绘的儿童人物及类人角色(有两只手、两条腿和一个头)制作动画。 

图片来源:ai.facebook.com

这些画作借助人工智能可在几分钟内变得栩栩如生。将画作上传到原型系统后,父母和孩子可以兴致勃勃地看着自己的画变成会跳舞、会蹦跳的动态角色。他们还可以下载动画画作,与朋友和家人分享。如果父母同意,他们还可以提交这些画作,用于改进人工智能模型。

“通过训练人工智能有效处理这种典型的人类创作形式,我们希望这一项目能让我们更接近开发出能从人类视角理解世界的人工智能。我们也希望这项工作能推动进一步研究如何利用人工智能提升人类的创造力,并激发人们以新的创意方式运用这项技术。”Meta表示。 

研究人员的目标是打造一种人工智能系统,能够高成功率地识别并自动为儿童画中的人物制作动画,且无需人工干预。 

尽管许多人工智能工具和方法是为处理写实人物图像而设计的,但儿童画增添了多样性和不可预测性,使判断画面内容变得困难得多。儿童画中的“人物”形态、颜色、大小和比例千差万别,但在身体对称性和视角方面却几乎没有共同之处。 

图片来源:ai.facebook.com

科学家们采用四步流程应对这一任务,并在每一步精细调整方法,以适应儿童画中极大的多样性。

研究人员设计了一套系统,用于训练人工智能识别儿童画中类似人类的形象。当页面上的其他物体或图形在特征、颜色或大小上相似时,这可能并不容易。随后,将人物形象单独分离出来,且不向页面添加任何内容,以使动画形象尽可能贴近孩子的构想。接着确定形象的关节,使动画能够流畅自然地运动。完成这些步骤后,画作即可进行动画处理。

为了用三维动作捕捉让二维人物动起来,研究人员利用了许多孩子作画时采用的一种方式,科学家称之为扭曲透视。许多孩子通常会先以身体部位最易辨认的视角来画,这可能与真人的外观不同。例如,他们通常从侧面画腿和脚,而从正面画头和躯干。

图片来源:ai.facebook.com

研究人员在动作重定向阶段运用了这种视角。无论身体的上部或下部,他们都会自动判断从正面还是侧面看,动作更易辨认。利用所选视角,动作被投影到一个二维平面上,并借此驱动角色。

“在分享我们的工作时,我们也希望推动更多针对业余绘画的计算机视觉研究。该项目的后续研究可以聚焦于识别并为更细分的人物类别应用更贴合的动作,例如超级英雄、公主、怪兽和忍者。”研究人员表示。 

对角色各部分进行更细致的分析,还有助于确定天线、尾巴和披风的位置,并运用次级运动元素,让动画更具吸引力。未来某一天,或许人工智能系统能够接收一幅复杂的草图,然后迅速生成详细的动画短片,其中包含多个相互互动的奇幻角色以及背景元素。 

图片来源:ai.facebook.com

借助AR眼镜,这些故事甚至可以在现实世界中“活”过来,与几分钟前画下它们的孩子一起跳舞或交谈。可能性是无限的,正如人类的想象力一样。

如果成年人同意将孩子的绘画以及孩子与演示的互动用于进一步研究,那么这些绘画和互动可用于以下任一目的,并可能被发布或公开:

  1. 训练模型更好地识别、分割手绘角色上的关节,并准确定位关节位置。
  2. 提供高质量的观众标注。 
  3. 作为学术研究工作或视频的一部分。 
  4. 作为面向研究人员的公开数据库的一部分,用于开发面向儿童的创意工具。 
  5. 作为未来鼓励收集更多图像的倡议的一部分。