Google створила «нейромережу-орнітолога», щоб розділяти співи птахів у дикій природі для класифікації

Птахи оточують нас усюди, і, просто слухаючи їх, ми можемо багато дізнатися про навколишнє середовище. Екологи використовують птахів, щоб зрозуміти харчові системи та здоров'я лісу — наприклад, якщо в лісі більше дятлів, це означає, що в ньому багато сухостою. Оскільки птахи спілкуються і позначають територію піснями та криками, найефективніше ідентифікувати їх на слух. Фактично, експерти можуть ідентифікувати на слух у 10 разів більше птахів, ніж за виглядом.

Останніми роками автономні записувальні пристрої (ARU) спростили запис тисяч годин звуку в лісах, який можна використовувати для кращого розуміння екосистем і визначення критичних місць проживання. Однак переглядати аудіодані вручну дуже довго, а фахівців з співу птахів небагато. 

Підхід, заснований на машинному навчанні (ML), може значно скоротити кількість експертних оцінок, необхідних для розуміння середовища проживання. Однак аудіокласифікація видів птахів на основі машинного навчання може бути складною з кількох причин. По-перше, птахи часто співають одночасно, особливо під час «ранкового хору», коли багато птахів найактивніші. 

Крім того, немає чітких записів окремих птахів, на яких можна було б навчатися — майже всі доступні дані для навчання записані в шумних умовах на вулиці, де часто присутні звуки вітру, комах та інших джерел навколишнього середовища. Як наслідок, існуючі моделі класифікації співу птахів важко ідентифікують тихі, віддалені та накладені вокалізації. 

Деякі з найпоширеніших видів часто з'являються без позначок на тлі навчальних записів для менш поширених видів, через що моделі не враховують поширені види. Ці складні випадки дуже важливі для екологів, які хочуть ідентифікувати зникаючі види за допомогою автоматизованих систем.

Щоб вирішити загальну проблему навчання моделей машинного навчання для автоматичного розділення аудіозаписів без доступу до прикладів ізольованих звуків, дослідники Google нещодавно запропонували новий неконтрольований метод, що називається навчанням інваріантам суміші (MixIT), у статті «Неконтрольоване розділення звуку з використанням навчання інваріантів суміші». 

Крім того, у статті «Покращення класифікації птахів за допомогою неконтрольованого розділення звуку» вони використовують навчання MixIT для розділення співу птахів і покращення класифікації видів. Учені виявили, що включення розділеного звуку в класифікацію підвищує точність і якість класифікації трьох незалежних наборів даних звукового ландшафту. 

Розділення звуку співу птахів

MixIT навчається розділяти одноканальні записи на кілька окремих доріжок і може повністю навчатися на шумних записах реального світу. Щоб навчити модель розділення, дослідники створюють «суміш сумішей» (MoM), змішуючи разом два записи реального світу. Потім модель розділення навчається розбирати MoM на безліч каналів, щоб мінімізувати функцію втрат, яка використовує два вихідні записи реального світу як еталони достовірності. 

Функція втрат використовує ці посилання, щоб групувати розділені канали так, щоб їх можна було змішати разом для відтворення двох оригінальних записів реального світу. Оскільки неможливо дізнатися, як різні звуки в MoM були згруповані разом у вихідних записах, у моделі розділення немає іншого вибору, окрім як розділити окремі звуки і таким чином навчитися розміщувати кожного співочого птаха в іншому вихідному аудіоканалі, а також відокремлювати від вітру та інших фонових шумів.

Дослідники навчили нову модель розділення MixIT, використовуючи записи співу птахів із Xeno-Canto та Macaulay Library. Вони виявили, що для розділення співу птахів ця нова модель перевершила модель розділення MixIT, навчену на великій кількості загального звуку з набору даних AudioSet. 

Учені вимірюють якість, змішуючи два записи разом, застосовуючи розділення, а потім повторно мікшуючи розділені аудіоканали так, щоб вони відтворювали два вихідні записи. Відношення сигнал-шум (SNR) ремікшованого звуку вимірюється порівняно з вихідними записами. 

Дослідники також знайшли багато прикладів, коли система працювала неймовірно добре, відокремлюючи дуже важко розрізнні виклики в реальних даних. 

Класифікація видів птахів

Щоб класифікувати птахів у реальному звуці, записаному за допомогою ARU, учені спочатку розділили звук на п'ятисекундні сегменти, а потім створили мел-спектрограму кожного сегмента. Потім вони навчають класифікатор EfficientNet ідентифікувати види птахів за зображеннями мел-спектрограми на аудіо з Xeno-Canto та Macaulay Library. 

Дослідники представили кілька нових методів для покращення навчання класифікаторів. Таксономічне навчання просить класифікатор надати мітки для кожного рівня таксономії видів (рід, родина і ряд), що дозволяє моделі вивчити групи видів перед тим, як вивчати іноді тонкі відмінності між схожими видами. 

Таксономічне навчання також дозволяє моделі отримати вигоду з експертної інформації про таксономічні зв'язки між різними видами. Вони виявили, що випадкова фільтрація низьких частот корисна для імітації віддалених звуків під час навчання: у міру віддалення джерела звуку високочастотні частини затухають раніше, ніж низькочастотні. Це було особливо ефективно для ідентифікації видів із регіону Високих Сьєрр, де спів птахів поширюється на дуже великі відстані, не зустрічаючи перешкод з боку дерев.

Класифікація розділеного аудіо

Інженери виявили, що розділення звуку за допомогою нової моделі MixIT перед класифікацією покращило продуктивність класифікатора на трьох незалежних наборах даних реального світу. Розділення було особливо успішним для ідентифікації тихих і фонових птахів, а також у багатьох випадках допомагало з накладеними вокалізаціями.

Модель розділення має деякі потенційні обмеження. Іноді спостерігається надмірне розділення, коли одна пісня розбивається на кілька каналів, що може призвести до неправильної класифікації. Крім того, коли співають кілька птахів, найпомітніша пісня часто отримує нижчу оцінку після розділення. 

Це може бути пов'язано з втратою контексту навколишнього середовища або іншими причинами, спричиненими розділенням, які не з'являються під час навчання класифікатора. Наразі учені отримують найкращі результати, запускаючи класифікатор на розділених каналах і вихідному звуку та отримуючи максимальний бал для кожного виду. Подальша робота дозволить зменшити надмірне розділення і знайти кращі способи поєднання розділення та класифікації. 

Майбутні напрямки

Наразі інженери Google працюють з партнерами з Каліфорнійської академії наук, щоб зрозуміти, як середовище проживання і склад видів змінюються після лісових пожеж, застосовуючи ці моделі до звуків ARU, зібраних за багато років.

«Ми також передбачаємо безліч потенційних застосувань моделей неконтрольованого розділення в екології, окрім птахів. Наприклад, розділений звук можна використовувати для створення якісніших акустичних індексів, які можуть вимірювати здоров'я екосистеми шляхом відстеження загальної активності птахів, комах і амфібій без ідентифікації конкретних видів», — повідомили дослідники.

Подібні методи також можна адаптувати для використання під водою для відстеження стану коралових рифів.