Дослідники Meta створили систему ШІ для оживлення дитячих малюнків
Діти малюють напрочуд унікальних і незвичайних персонажів, які пробуджують нашу уяву і змушують трохи інакше мислити, щоб упізнавати людей і предмети на їхніх малюнках. Хоча батькові чи вчителю може бути досить просто побачити, що має показувати дитячий малюнок, ШІ з цим завданням не справляється.
Дитячі малюнки часто створюються абстрактними, дивними способами, тож якщо ноги фігури розташовані ненадійно або якщо обидві руки знаходяться з одного боку її тіла, це збиває з пантелику навіть сучасні системи штучного інтелекту, які добре виявляють об'єкти на фотореалістичних зображеннях і малюнках.
Дослідники Meta працюють над подоланням цієї проблеми, щоб системи ШІ могли краще розпізнавати малюнки людських фігур найрізноманітнішими способами, якими їх створюють діти. Вони оголосили про перший у своєму роді метод автоматичної анімації намальованих від руки дитячих фігурок людей і людиноподібних персонажів (з двома руками, двома ногами, головою).
Ці малюнки можна оживити за лічені хвилини за допомогою штучного інтелекту. Завантаживши їх у систему прототипів, батьки та діти можуть відчути хвилювання, спостерігаючи, як їхні малюнки перетворюються на рухливих персонажів, які танцюють і стрибають. Вони також можуть завантажити свої анімовані малюнки, щоб поділитися ними з друзями і родиною. За бажанням батьків вони можуть надіслати ці малюнки, щоб покращити модель ШІ.
«Навчаючи ШІ ефективно працювати з цією типовою формою людської творчості, ми сподіваємося, що цей проєкт наблизить нас до створення ШІ, який зможе зрозуміти світ з людської точки зору. Ми також сподіваємося, що ця робота підштовхне до подальших досліджень використання ШІ для підвищення творчих здібностей людей і надихне на нові творчі способи використання цієї технології», — повідомили в Meta.
Мета дослідників полягала в тому, щоб створити систему штучного інтелекту, яка може ідентифікувати й автоматично оживляти людські фігури на дитячих малюнках із високим ступенем успіху і без будь-якого втручання людини.
Хоча багато інструментів і методів ШІ призначені для обробки реалістичних зображень людей, дитячі малюнки додають рівень різноманітності та непередбачуваності, що значно ускладнює визначення того, що зображено. «Люди» на дитячих малюнках бувають найрізноманітніших форм, кольорів, розмірів і масштабів, але мало спільного в тому, що стосується симетрії тіла і точки зору.
Учені підійшли до цього завдання, використовуючи чотириетапний процес, тонко налаштовуючи свій підхід на кожному етапі, щоб адаптуватися до величезного різноманіття, присутнього на дитячих малюнках.
Дослідники розробили систему для навчання ШІ розпізнавати фігуру, схожу на людину, на дитячому малюнку, що може бути непросто, коли інші об'єкти або фігури на сторінці мають схожі риси, кольори або розміри. Після цього людська фігура ізолюється, а на сторінку нічого не додається, щоб анімована фігура була якомога ближчою до того, що задумав дитина. Потім визначаються суглоби фігури, щоб анімація могла рухатися привабливо. Щойно всі ці кроки будуть виконані, малюнок буде готовий до анімації.
Щоб оживити 2D-фігури за допомогою 3D-захоплення руху, використовується той факт, що багато дітей малюють, використовуючи те, що вчені називають викривленою перспективою. Багато дітей зазвичай спочатку малюють частини тіла з їхньої найбільш впізнаваної точки зору, яка може відрізнятися від того, як вони виглядають на реальних людях. Наприклад, вони зазвичай малюють ноги і стопи збоку, а голови й тулуб спереду.
Дослідники використовують цю перспективу на етапі переназначення руху. Незалежно від нижньої та верхньої частини тіла, вони автоматично визначають, чи є рух більш впізнаваним при погляді спереду або збоку. Використовуючи обрані ракурси, рух проєктується на одну 2D-площину і використовується для керування персонажем.
«Ділячись своєю роботою, ми також сподіваємося стимулювати більше робіт з комп’ютерного зору в галузі любительських малюнків. Подальші дослідження цього проєкту можуть бути зосереджені на виявленні та застосуванні більш адаптованих рухів до підкатегорій фігур, таких як супергерої, принцеси, монстри та ніндзя», — розповіли дослідники.
Більш детальний аналіз частин персонажа також може бути корисним для визначення антен, хвостів і накидок та застосування вторинних елементів руху, щоб підвищити привабливість анімації. Колись, можливо, система штучного інтелекту зможе взяти складний малюнок, а потім миттєво створити детальний анімаційний мультфільм, використовуючи кілька фантастичних персонажів, що взаємодіють один з одним, і елементи фону.
З окулярами AR ці історії можуть навіть ожити у реальному світі, танцюючи чи розмовляючи з дитиною, яка намалювала їх лише кілька миттєвостей тому. Можливості безмежні, як і людська уява.
Якщо дорослі дають згоду на використання малюнка своєї дитини та її взаємодії з демонстрацією для подальших досліджень, малюнок і взаємодії можуть бути використані, випущені або опубліковані для будь-якої з наведених нижче цілей:
- Щоб навчити модель краще визначати, сегментувати і розміщувати суглоби на намальованих від руки персонажах.
- Забезпечити якісні анотації глядачів.
- Як частина академічної дослідницької роботи або відео.
- Як частина загальнодоступної бази даних для дослідників з розробки інструментів творчості для дітей.
- У рамках майбутніх ініціатив із заохочення збору додаткових зображень.
