Google a créé un « ornithologue IA » pour séparer les chants d'oiseaux dans la nature afin de les classer

Les oiseaux nous entourent partout, et il suffit de les écouter pour en apprendre beaucoup sur l'environnement. Les écologues utilisent les oiseaux pour comprendre les systèmes alimentaires et la santé de la forêt : par exemple, s'il y a davantage de pics dans une forêt, cela signifie qu'elle contient beaucoup de bois mort. Comme les oiseaux communiquent et marquent leur territoire par leurs chants et leurs cris, le moyen le plus efficace de les identifier est l'écoute. En fait, les experts peuvent identifier 10 fois plus d'oiseaux à l'oreille qu'à vue.

Ces dernières années, les enregistreurs audio autonomes (ARU) ont facilité l'enregistrement de milliers d'heures de sons dans les forêts, des données qui peuvent servir à mieux comprendre les écosystèmes et à repérer les habitats critiques. Cependant, l'examen manuel des données audio prend énormément de temps, et les spécialistes du chant des oiseaux sont rares. 

Une approche fondée sur l'apprentissage automatique (ML) peut réduire considérablement le nombre d'évaluations d'experts nécessaires pour comprendre l'habitat. Toutefois, la classification audio des espèces d'oiseaux par apprentissage automatique peut être complexe pour plusieurs raisons. Premièrement, les oiseaux chantent souvent simultanément, en particulier pendant le « chœur de l'aube », lorsque de nombreux oiseaux sont les plus actifs. 

De plus, il n'existe pas d'enregistrements clairs d'oiseaux isolés sur lesquels apprendre : presque toutes les données d'entraînement disponibles ont été enregistrées dans des conditions bruyantes en extérieur, où sont souvent présents le vent, les insectes et d'autres sources environnementales. En conséquence, les modèles de classification du chant d'oiseaux existants peinent à identifier les vocalisations faibles, éloignées et qui se chevauchent. 

Certaines des espèces les plus courantes apparaissent souvent sans étiquette en arrière-plan des enregistrements d'entraînement d'espèces moins répandues, ce qui fait que les modèles ne tiennent pas compte des espèces communes. Ces cas complexes sont très importants pour les écologues qui souhaitent identifier des espèces en voie de disparition à l'aide de systèmes automatisés.

Pour résoudre le problème général de l'entraînement de modèles d'apprentissage automatique à séparer automatiquement les enregistrements audio sans accès à des exemples de sons isolés, des chercheurs de Google ont récemment proposé une nouvelle méthode non supervisée appelée apprentissage par invariants de mélange (MixIT), dans l'article « Séparation sonore non supervisée à l'aide de l'apprentissage par invariants de mélange ». 

Par ailleurs, dans l'article « Amélioration de la classification des oiseaux grâce à la séparation sonore non supervisée », ils utilisent l'entraînement MixIT pour séparer le chant des oiseaux et améliorer la classification des espèces. Les scientifiques ont constaté que l'intégration du son séparé dans la classification augmente la précision de celle-ci sur trois jeux de données indépendants de paysages sonores. 

Séparation du chant des oiseaux

MixIT apprend à séparer des enregistrements monocanaux en plusieurs pistes distinctes et peut être entièrement entraîné sur des enregistrements bruyants du monde réel. Pour entraîner le modèle de séparation, les chercheurs créent un « mélange de mélanges » (MoM) en mélangeant deux enregistrements du monde réel. Le modèle de séparation apprend ensuite à décomposer le MoM en plusieurs canaux, afin de minimiser une fonction de perte qui utilise les deux enregistrements originaux du monde réel comme références de vérité terrain. 

La fonction de perte utilise ces références pour regrouper les canaux séparés de manière à pouvoir les remixer afin de recréer les deux enregistrements originaux. Comme il est impossible de savoir comment les différents sons du MoM ont été regroupés dans les enregistrements d'origine, le modèle de séparation n'a d'autre choix que de séparer les sons individuels, et ainsi d'apprendre à placer chaque oiseau chanteur sur un canal de sortie distinct, en le isolant du vent et des autres bruits de fond.

Les chercheurs ont entraîné un nouveau modèle de séparation MixIT à l'aide d'enregistrements de chants d'oiseaux provenant de Xeno-Canto et de la Macaulay Library. Ils ont constaté que, pour séparer le chant des oiseaux, ce nouveau modèle surpassait le modèle MixIT entraîné sur une grande quantité de sons généraux issus de l'ensemble de données AudioSet. 

Les scientifiques mesurent la qualité en mélangeant deux enregistrements, en appliquant la séparation, puis en remixant les canaux audio séparés de façon à reconstituer les deux enregistrements originaux. Le rapport signal sur bruit (SNR) du son remixé est mesuré par rapport aux enregistrements d'origine. 

Les chercheurs ont également trouvé de nombreux exemples où le système fonctionnait remarquablement bien, en séparant des cris très difficiles à distinguer dans des données réelles. 

Classification des espèces d'oiseaux

Pour classer les oiseaux dans un son réel enregistré avec un ARU, les scientifiques ont d'abord découpé l'audio en segments de cinq secondes, puis créé un spectrogramme de Mel pour chaque segment. Ils entraînent ensuite un classificateur EfficientNet à identifier les espèces d'oiseaux à partir d'images de spectrogrammes de Mel, à partir d'audio provenant de Xeno-Canto et de la Macaulay Library. 

Les chercheurs ont présenté plusieurs nouvelles méthodes pour améliorer l'entraînement des classificateurs. L'apprentissage taxonomique demande au classificateur de fournir des étiquettes pour chaque niveau de la taxonomie des espèces (genre, famille et ordre), ce qui permet au modèle d'apprendre des groupes d'espèces avant d'étudier les différences parfois subtiles entre espèces similaires. 

L'apprentissage taxonomique permet également au modèle de tirer parti des informations d'experts sur les relations taxonomiques entre différentes espèces. Ils ont constaté qu'un filtrage passe-bas aléatoire est utile pour simuler des sons lointains pendant l'entraînement : à mesure que la source sonore s'éloigne, les parties hautes fréquences s'atténuent plus tôt que les basses fréquences. Cela s'est révélé particulièrement efficace pour identifier les espèces de la région des Hautes Sierras, où le chant des oiseaux se propage sur de très grandes distances sans être gêné par les arbres.

Classification du son séparé

Les ingénieurs ont constaté que la séparation du son à l'aide du nouveau modèle MixIT avant la classification améliorait les performances du classificateur sur trois jeux de données indépendants issus du monde réel. La séparation a été particulièrement efficace pour identifier les oiseaux discrets et ceux en arrière-plan, et a aidé dans de nombreux cas avec les vocalisations qui se chevauchent.

Le modèle de séparation présente certaines limites potentielles. Parfois, une sur-séparation est observée, lorsqu'un seul chant est fragmenté en plusieurs canaux, ce qui peut entraîner une mauvaise classification. De plus, lorsque plusieurs oiseaux chantent, le chant le plus marqué obtient souvent un score plus faible après la séparation. 

Cela peut être dû à la perte de contexte environnemental ou à d'autres effets de la séparation qui n'apparaissent pas pendant l'entraînement du classificateur. Pour l'instant, les scientifiques obtiennent les meilleurs résultats en faisant fonctionner le classificateur sur les canaux séparés et sur le son original, puis en retenant le score maximal pour chaque espèce. Les travaux futurs permettront de réduire la sur-séparation et de trouver de meilleures façons de combiner séparation et classification. 

Perspectives

Actuellement, les ingénieurs de Google travaillent avec des partenaires de la California Academy of Sciences pour comprendre comment l'habitat et la composition des espèces évoluent après les incendies de forêt, en appliquant ces modèles aux sons des ARU collectés pendant de nombreuses années.

« Nous prévoyons également de nombreuses applications potentielles des modèles de séparation non supervisée en écologie, au-delà des oiseaux. Par exemple, le son séparé pourrait servir à créer de meilleurs indices acoustiques, capables de mesurer la santé d'un écosystème en suivant l'activité globale des oiseaux, des insectes et des amphibiens sans identifier des espèces précises », ont déclaré les chercheurs.

Des méthodes similaires pourraient également être adaptées à une utilisation sous l'eau pour suivre l'état des récifs coralliens.