Исследователи Meta создали систему ИИ для оживления детских рисунков
Дети рисуют удивительно уникальных и необычных персонажей, которые пробуждают наше воображение и заставляют мыслить немного иначе, чтобы узнавать людей и предметы на их рисунках. Хотя родителю или учителю может быть довольно просто увидеть, что должен показать детский рисунок, ИИ с этой задачей не справляется.
Детские рисунки часто создаются абстрактными, причудливыми способами, поэтому, если ноги фигуры расположены ненадежно или если обе руки находятся на одной стороне ее тела, это сбивает с толку даже современные системы искусственного интеллекта, которые преуспевают в обнаружении объектов на фотореалистичных изображениях и рисунках.
Исследователи Meta работают над преодолением этой проблемы, чтобы системы ИИ могли лучше распознавать рисунки человеческих фигур самыми разными способами, которыми их создают дети. Они объявили о первом в своем роде методе автоматической анимации нарисованных от руки детских фигурок людей и человекоподобных персонажей (с двумя руками, двумя ногами, головой).
Эти рисунки можно оживить за считанные минуты с помощью искусственного интеллекта. Загрузив их в систему прототипов, родители и дети могут испытать волнение, наблюдая, как их рисунки превращаются в движущихся персонажей, которые танцуют и прыгают. Они также могут скачать свои анимированные рисунки, чтобы поделиться ими с друзьями и семьей. По желанию родителей они могут отправить эти рисунки, чтобы улучшить модель ИИ.
«Обучая ИИ эффективно работать с этой типичной формой человеческого творчества, мы надеемся, что этот проект приблизит нас к созданию ИИ, который сможет понять мир с человеческой точки зрения. Мы также надеемся, что эта работа подтолкнет к дальнейшим исследованиям использования ИИ для повышения творческих способностей людей и вдохновит на новые творческие способы использования этой технологии», — сообщили в Meta.
Цель исследователей состояла в том, чтобы создать систему искусственного интеллекта, которая может идентифицировать и автоматически оживлять человеческие фигуры на детских рисунках с высокой степенью успеха и без какого-либо вмешательства человека.
Хотя многие инструменты и методы ИИ предназначены для обработки реалистичных изображений людей, детские рисунки добавляют уровень разнообразия и непредсказуемости, что значительно усложняет определение того, что изображается. «Люди» на детских рисунках бывают самых разных форм, цветов, размеров и масштабов, но у них мало общего в том, что касается симметрии тела и точки зрения.
Ученые подошли к этой задаче, используя четырехэтапный процесс, тонко настраивая свой подход на каждом этапе, чтобы адаптироваться к огромному разнообразию, присутствующему на детских рисунках.
Исследователи разработали систему для обучения ИИ распознаванию фигуры, похожей на человека на детском рисунке, что может быть непросто, когда другие объекты или фигуры на странице имеют схожие черты, цвета или размеры. После этого человеческая фигура изолируется, а на страницу ничего не добавляется, чтобы анимированная фигура была как можно ближе к тому, что задумал ребенок. Затем определяются суставы фигуры, чтобы анимация могла двигаться привлекательно. Как только все эти шаги будут выполнены, рисунок будет готов к анимации.
Чтобы оживить 2D-фигуры с помощью 3D-захвата движения, используется тот факт, что многие дети рисуют, используя то, что ученые называют искривленной перспективой. Многие дети обычно сначала рисуют части тела с их наиболее узнаваемой точки зрения, которая может отличаться от того, как они выглядят на реальных людях. Например, они обычно рисуют ноги и ступни сбоку, а головы и туловище спереди.
Исследователи используют эту перспективу на этапе переназначения движения. Независимо от нижней и верхней части тела, они автоматически определяют, является ли движение более узнаваемым при виде спереди или сбоку. Используя выбранные виды, движение проецируется на одну 2D-плоскость и использует ее для управления персонажем.
«Делясь своей работой, мы также надеемся стимулировать больше работ по компьютерному зрению в области любительских рисунков. Дальнейшие исследования этого проекта могут быть сосредоточены на выявлении и применении более адаптированных движений к подкатегориям фигур, таким как супергерои, принцессы, монстры и ниндзя», — рассказали исследователи.
Более детальный анализ частей персонажа также может быть полезен для определения антенн, хвостов и накидок и применения вторичных элементов движения, чтобы повысить привлекательность анимации. Когда-нибудь, возможно, система искусственного интеллекта сможет взять сложный рисунок, а затем мгновенно создать подробный анимационный мультфильм, используя несколько фантастических персонажей, взаимодействующих друг с другом, и элементы фона.
С очками AR эти истории могут даже ожить в реальном мире, танцуя или разговаривая с ребенком, который нарисовал их всего несколько мгновений назад. Возможности безграничны, как и человеческое воображение.
Если взрослые дают согласие на использование рисунка своего ребенка и своего взаимодействия с демонстрацией для дальнейшего исследования, рисунок и взаимодействия могут быть использованы, выпущены или опубликованы для любой из следующих целей:
- Чтобы научить модель лучше определять, сегментировать и размещать суставы на нарисованных от руки персонажах.
- Обеспечить качественные аннотации зрителей.
- Как часть академической исследовательской работы или видео.
- Как часть общедоступной базы данных для исследователей по разработке инструментов творчества для детей.
- В рамках будущих инициатив по поощрению сбора дополнительных изображений.
