Google создала «нейросеть-орнитолога», чтобы разделять пения птиц в дикой природе для классификации

Птицы окружают нас повсюду, и, просто слушая их, мы можем многое узнать об окружающей среде. Экологи используют птиц, чтобы понять пищевые системы и здоровье леса — например, если в лесу больше дятлов, это означает, что в нем много сухостоя. Поскольку птицы общаются и отмечают территорию песнями и криками, эффективнее всего идентифицировать их на слух. Фактически, эксперты могут идентифицировать в 10 раз больше птиц на слух, чем на вид.

В последние годы автономные записывающие устройства (ARU) упростили запись тысяч часов звука в лесах, которые можно использовать для лучшего понимания экосистем и определения критических мест обитания. Однако просмотр аудиоданных вручную занимает очень много времени, а специалисты по пению птиц встречаются редко. 

Подход, основанный на машинном обучении (ML), может значительно сократить количество экспертных оценок, необходимых для понимания среды обитания. Однако аудиоклассификация видов птиц на основе машинного обучения может быть сложной по нескольким причинам. Во-первых, птицы часто поют одновременно, особенно во время «рассветного хора», когда многие птицы наиболее активны. 

Кроме того, нет четких записей отдельных птиц, на которых можно было бы учиться — почти все доступные данные для обучения записаны в шумных условиях на улице, где часто присутствуют звуки ветра, насекомых и других источников окружающей среды. В результате существующие модели классификации пения птиц изо всех сил пытаются идентифицировать тихие, отдаленные и перекрывающиеся вокализации. 

Некоторые из наиболее распространенных видов часто появляются без маркировки на фоне обучающих записей для менее распространенных видов, что приводит к тому, что модели не учитывают распространенные виды. Эти сложные случаи очень важны для экологов, которые хотят идентифицировать исчезающие виды с помощью автоматизированных систем.

Чтобы решить общую проблему обучения моделей машинного обучения для автоматического разделения аудиозаписей без доступа к примерам изолированных звуков, исследователи Google недавно предложили новый неконтролируемый метод, называемый обучением инвариантам смеси (MixIT) в статье «Разделение звука без учителя с использованием обучения инвариантов смеси». 

Кроме того, в статье «Улучшение классификации птиц с помощью разделения звука без присмотра» они используют обучение MixIT для разделения пения птиц и улучшения классификации видов. Ученые обнаружили, что включение разделенного звука в классификацию повышает точность и качество классификации трех независимых наборов данных звукового ландшафта. 

Разделение звука пения птиц

MixIT учится разделять одноканальные записи на несколько отдельных дорожек и может полностью обучаться шумным записям реального мира. Чтобы обучить модель разделения, исследователи создают «смесь смесей» (MoM), смешивая вместе две записи реального мира. Затем модель разделения учится разбирать MoM на множество каналов, чтобы минимизировать функцию потерь, которая использует две исходные записи реального мира в качестве эталонов достоверности. 

Функция потери использует эти ссылки для группировки разделенных каналов таким образом, чтобы их можно было микшировать вместе для воссоздания двух оригинальных записей реального мира. Поскольку невозможно узнать, как различные звуки в MoM были сгруппированы вместе в исходных записях, у модели разделения нет другого выбора, кроме как разделить отдельные звуки, и, таким образом, научиться размещать каждую поющую птицу в другом выходном аудиоканале, а также отделять от ветра и других фоновых шумов.

Исследователи обучили новую модель разделения MixIT, используя записи пения птиц из Xeno-Canto и Macaulay Library. Они обнаружили, что для разделения пения птиц эта новая модель превзошла модель разделения MixIT, обученную на большом количестве общего звука из набора данных AudioSet. 

Ученые измеряют качество, смешивая две записи вместе, применяя разделение, а затем повторно микшируя разделенные аудиоканалы таким образом, чтобы они восстанавливали две исходные записи. Отношение сигнал-шум (SNR) ремикшированного звука измеряется по сравнению с исходными записями. 

Исследователи также нашли много примеров, когда система работала невероятно хорошо, отделяя очень трудно различимые вызовы в реальных данных. 

Классификация видов птиц

Чтобы классифицировать птиц в реальном звуке, записанном с помощью ARU, ученые сначала разделили звук на пятисекундные сегменты, а затем создали мел-спектрограмму каждого сегмента. Затем они учат классификатор EfficientNet идентифицировать виды птиц по изображениям мел-спектрограммы на аудио из Xeno-Canto и Macaulay Library. 

Исследователи представили несколько новых методов для улучшения обучения классификаторов. Таксономическое обучение просит классификатор предоставить метки для каждого уровня таксономии видов (род, семейство и порядок), что позволяет модели изучить группы видов, прежде чем изучать иногда тонкие различия между похожими видами. 

Таксономическое обучение также позволяет модели извлечь выгоду из экспертной информации о таксономических отношениях между различными видами. Они обнаружили, что случайная фильтрация нижних частот полезна для имитации отдаленных звуков во время обучения: по мере удаления источника звука высокочастотные части затухают раньше, чем низкочастотные. Это было особенно эффективно для идентификации видов из региона Высоких Сьерр, где пение птиц распространяется на очень большие расстояния, не встречая помех со стороны деревьев.

Классификация разделенного аудио

Инженеры обнаружили, что разделение звука с помощью новой модели MixIT перед классификацией улучшило производительность классификатора на трех независимых наборах данных реального мира. Разделение было особенно успешным для идентификации тихих и фоновых птиц, а также во многих случаях помогало с перекрывающимися вокализациями.

Модель разделения имеет некоторые потенциальные ограничения. Иногда наблюдается чрезмерное разделение, когда одна песня разбивается на несколько каналов, что может привести к неправильной классификации. Кроме того, когда поют несколько птиц, самая заметная песня часто получает более низкую оценку после разделения. 

Это может быть связано с потерей контекста окружающей среды или другими причинами, вызванными разделением, которые не появляются во время обучения классификатора. На данный момент ученые получают наилучшие результаты, запуская классификатор на разделенных каналах и исходном звуке и получая максимальный балл для каждого вида. Дальнейшая работа позволит уменьшить чрезмерное разделение и найти лучшие способы сочетания разделения и классификации. 

Будущие направления

В настоящее время инженеры Google работают с партнерами из Калифорнийской академии наук, чтобы понять, как среда обитания и состав видов меняются после лесных пожаров, применяя эти модели к звукам ARU, собранным за многие годы.

«Мы также предвидим множество потенциальных применений моделей неконтролируемого разделения в экологии, помимо птиц. Например, разделенный звук можно использовать для создания более качественных акустических индексов, которые могут измерять здоровье экосистемы путем отслеживания общей активности птиц, насекомых и амфибий без идентификации конкретных видов», — сообщили исследователи.

Подобные методы также могут быть адаптированы для использования под водой для отслеживания состояния коралловых рифов.