Google creó una «red neuronal ornitóloga» para separar los cantos de las aves en la naturaleza y clasificarlos

Las aves nos rodean por todas partes y, solo con escucharlas, podemos aprender mucho sobre el entorno. Los ecólogos utilizan las aves para comprender las cadenas alimentarias y la salud del bosque; por ejemplo, si hay más pícidos en un bosque, eso significa que hay muchos árboles muertos en pie. Como las aves se comunican y marcan su territorio con cantos y gritos, lo más eficaz es identificarlas por el sonido. De hecho, los expertos pueden identificar 10 veces más aves por el oído que a simple vista.

En los últimos años, los grabadores autónomos (ARU) han facilitado el registro de miles de horas de sonido en los bosques, que pueden utilizarse para entender mejor los ecosistemas y determinar los hábitats críticos. Sin embargo, revisar los datos de audio manualmente lleva mucho tiempo, y los especialistas en cantos de aves son escasos. 

Un enfoque basado en el aprendizaje automático (ML) puede reducir considerablemente la cantidad de evaluaciones expertas necesarias para comprender el hábitat. No obstante, la clasificación de especies de aves por audio mediante aprendizaje automático puede ser compleja por varias razones. En primer lugar, las aves a menudo cantan al mismo tiempo, especialmente durante el «coro del amanecer», cuando muchas aves están más activas. 

Además, no hay grabaciones limpias de aves individuales de las que aprender: casi todos los datos de entrenamiento disponibles se han registrado en condiciones ruidosas al aire libre, donde suelen estar presentes los sonidos del viento, de los insectos y de otras fuentes ambientales. Como resultado, los modelos actuales de clasificación de cantos de aves tienen dificultades para identificar vocalizaciones silenciosas, lejanas y superpuestas. 

Algunas de las especies más comunes aparecen a menudo sin etiqueta en el fondo de las grabaciones de entrenamiento de especies menos comunes, lo que hace que los modelos no tengan en cuenta las especies frecuentes. Estos casos complejos son muy importantes para los ecólogos que quieren identificar especies en peligro de extinción con sistemas automatizados.

Para resolver el problema general de entrenar modelos de aprendizaje automático que separen automáticamente grabaciones de audio sin acceso a ejemplos de sonidos aislados, los investigadores de Google propusieron recientemente un nuevo método no supervisado llamado aprendizaje por invariantes de mezcla (MixIT) en el artículo «Separación de sonido no supervisada mediante aprendizaje de invariantes de mezcla». 

Además, en el artículo «Mejora de la clasificación de aves mediante separación de sonido no supervisada», utilizan el entrenamiento MixIT para separar los cantos de las aves y mejorar la clasificación de especies. Los científicos descubrieron que incluir el sonido separado en la clasificación aumenta la precisión de la clasificación en tres conjuntos de datos independientes de paisajes sonoros. 

Separación del canto de las aves

MixIT aprende a separar grabaciones monocanal en varias pistas independientes y puede entrenarse por completo con grabaciones ruidosas del mundo real. Para entrenar el modelo de separación, los investigadores crean una «mezcla de mezclas» (MoM), combinando dos grabaciones del mundo real. Después, el modelo de separación aprende a descomponer la MoM en múltiples canales, con el fin de minimizar una función de pérdida que usa las dos grabaciones originales del mundo real como referencias de verdad. 

La función de pérdida utiliza estas referencias para agrupar los canales separados de manera que puedan mezclarse y recrear las dos grabaciones originales. Como no es posible saber cómo se agruparon los distintos sonidos de la MoM en las grabaciones originales, el modelo de separación no tiene otra opción que separar los sonidos individuales y, así, aprender a colocar cada ave cantora en un canal de salida distinto, además de separarla del viento y de otros ruidos de fondo.

Los investigadores entrenaron el nuevo modelo de separación MixIT con grabaciones de cantos de aves de Xeno-Canto y Macaulay Library. Descubrieron que, para separar cantos de aves, este nuevo modelo superó a un modelo de separación MixIT entrenado con una gran cantidad de sonido general del conjunto de datos AudioSet. 

Los científicos miden la calidad mezclando dos grabaciones, aplicando la separación y luego volviendo a mezclar los canales de audio separados de forma que reconstruyan las dos grabaciones originales. La relación señal-ruido (SNR) del audio remezclado se mide en comparación con las grabaciones originales. 

Los investigadores también encontraron muchos ejemplos en los que el sistema funcionó de forma increíblemente bien, separando vocalizaciones muy difíciles de distinguir en datos reales. 

Clasificación de especies de aves

Para clasificar las aves en sonido real grabado con ARU, los científicos primero dividieron el audio en segmentos de cinco segundos y luego crearon un espectrograma de Mel de cada segmento. Después entrenan un clasificador EfficientNet para identificar especies de aves a partir de imágenes de espectrogramas de Mel del audio de Xeno-Canto y Macaulay Library. 

Los investigadores presentaron varios métodos nuevos para mejorar el entrenamiento de los clasificadores. El aprendizaje taxonómico pide al clasificador que proporcione etiquetas para cada nivel de la taxonomía de especies (género, familia y orden), lo que permite al modelo aprender grupos de especies antes de estudiar las diferencias, a veces sutiles, entre especies parecidas. 

El aprendizaje taxonómico también permite que el modelo se beneficie de la información experta sobre las relaciones taxonómicas entre distintas especies. Descubrieron que el filtrado paso bajo aleatorio es útil para simular sonidos lejanos durante el entrenamiento: a medida que se aleja la fuente de sonido, las partes de alta frecuencia se atenúan antes que las de baja frecuencia. Esto fue especialmente eficaz para identificar especies de la región de Sierra Nevada, donde el canto de las aves viaja a distancias muy largas sin obstáculos de los árboles.

Clasificación del audio separado

Los ingenieros descubrieron que separar el sonido con el nuevo modelo MixIT antes de la clasificación mejoró el rendimiento del clasificador en tres conjuntos de datos independientes del mundo real. La separación fue especialmente exitosa para identificar aves silenciosas y de fondo, y en muchos casos ayudó con las vocalizaciones superpuestas.

El modelo de separación tiene algunas limitaciones potenciales. A veces se produce una separación excesiva, en la que un solo canto se divide en varios canales, lo que puede provocar una clasificación incorrecta. Además, cuando cantan varias aves, el canto más llamativo suele obtener una puntuación más baja tras la separación. 

Esto puede deberse a la pérdida de contexto ambiental u otras causas introducidas por la separación, que no aparecen durante el entrenamiento del clasificador. Por ahora, los científicos obtienen los mejores resultados ejecutando el clasificador sobre los canales separados y el sonido original, y tomando la puntuación máxima para cada especie. Los trabajos futuros permitirán reducir la separación excesiva y encontrar mejores formas de combinar la separación y la clasificación. 

Direcciones futuras

Actualmente, los ingenieros de Google trabajan con socios de la Academia de Ciencias de California para entender cómo cambian el hábitat y la composición de especies después de los incendios forestales, aplicando estos modelos a sonidos de ARU recopilados durante muchos años.

«También prevemos muchas posibles aplicaciones de los modelos de separación no supervisada en ecología, más allá de las aves. Por ejemplo, el sonido separado podría usarse para crear índices acústicos de mejor calidad, que midan la salud del ecosistema siguiendo la actividad general de aves, insectos y anfibios sin identificar especies concretas», explicaron los investigadores.

Métodos similares también podrían adaptarse para usarse bajo el agua y monitorizar el estado de los arrecifes de coral.