Google, 야생 새소리를 분리해 종을 분류하는 ‘조류학자 신경망’ 개발
새들은 우리 주변 어디에나 있으며, 그저 그 소리를 들어보는 것만으로도 주변 환경에 대해 많은 것을 알 수 있습니다. 생태학자들은 새를 이용해 먹이 체계와 숲의 건강 상태를 파악합니다. 예를 들어 숲에 딱따구리가 많다면 그곳에 고사목이 많다는 뜻입니다. 새들은 노래와 울음소리로 소통하고 영역을 표시하기 때문에, 귀로 식별하는 것이 가장 효과적입니다. 실제로 전문가들은 외형으로 식별하는 것보다 소리로 10배 더 많은 새를 식별할 수 있습니다.
최근 몇 년간 자율 녹음 장치(ARU)를 이용해 숲에서 수천 시간 분량의 소리를 녹음하기가 쉬워졌습니다. 이 소리는 생태계를 더 잘 이해하고 중요한 서식지를 찾아내는 데 활용될 수 있습니다. 하지만 음향 데이터를 수작업으로 살펴보는 데는 엄청난 시간이 걸리고, 새 소리 전문가는 드뭅니다.
머신러닝(ML) 기반 접근법은 서식지를 이해하는 데 필요한 전문가 평가의 양을 크게 줄일 수 있습니다. 그러나 머신러닝을 이용한 새 종 음향 분류는 여러 이유로 어려울 수 있습니다. 첫째, 새들은 특히 많은 새가 가장 활발하게 움직이는 ‘새벽 합창’ 때 종종 동시에 노래합니다.
또한 개별 새의 명확한 녹음이 학습에 쓸 만큼 없습니다. 거의 모든 이용 가능한 학습 데이터는 바람, 곤충 및 기타 환경 소리가 자주 섞인 야외의 시끄러운 환경에서 녹음되었습니다. 그 결과 기존 새 울음 분류 모델은 조용하고 멀리 있으며 겹치는 울음소리를 식별하는 데 어려움을 겪습니다.
가장 흔한 종 중 일부는 덜 흔한 종의 학습 녹음 배경에 표시되지 않은 채 나타나는 경우가 많아, 모델이 흔한 종을 제대로 고려하지 못하게 됩니다. 이러한 어려운 사례는 자동화 시스템으로 멸종 위기종을 식별하려는 생태학자들에게 매우 중요합니다.
분리된 소리 예시에 접근하지 않고도 머신러닝 모델을 학습해 오디오를 자동으로 분리하는 일반적인 문제를 해결하기 위해, Google 연구진은 최근 새로운 비지도 방법인 믹스 불변 학습(MixIT)을 제안했습니다. 이는 ‘지도 없는 음향 분리를 위한 혼합 불변 학습’ 논문에 소개되어 있습니다.
또한 ‘비지도 음향 분리를 통한 새 분류 개선’ 논문에서 연구진은 MixIT 학습을 사용해 새 울음소리를 분리하고 종 분류를 개선했습니다. 과학자들은 분리된 소리를 분류에 포함하면 세 개의 독립적인 음향 환경 데이터셋에서 분류 정확도와 품질이 향상된다는 사실을 발견했습니다.
새 울음소리 분리
MixIT는 단일 채널 녹음을 여러 개별 트랙으로 분리하는 법을 학습하며, 시끄러운 실제 녹음으로 완전히 학습할 수 있습니다. 분리 모델을 훈련하기 위해 연구진은 두 개의 실제 녹음을 섞어 ‘혼합의 혼합’(MoM)을 만듭니다. 그런 다음 분리 모델은 MoM을 여러 채널로 나누는 법을 배우는데, 이때 두 원본 실제 녹음을 정답 기준으로 삼는 손실 함수를 최소화합니다.
손실 함수는 이러한 기준을 사용해 분리된 채널을 묶어, 이를 다시 혼합해 두 원본 실제 녹음을 재현할 수 있도록 합니다. 원본 녹음에서 MoM 내 서로 다른 소리가 어떻게 묶여 있었는지 알 수 없기 때문에, 분리 모델은 개별 소리를 나눌 수밖에 없으며, 그 결과 각 노래하는 새를 서로 다른 출력 오디오 채널에 배치하고 바람과 다른 배경 소음을 분리하는 법을 배웁니다.
연구진은 Xeno-Canto와 Macaulay Library의 새 울음 녹음을 이용해 새로운 MixIT 분리 모델을 학습했습니다. 그 결과 새 울음 분리에서 이 새 모델이 AudioSet 데이터셋의 방대한 일반 소리로 학습된 MixIT 분리 모델보다 뛰어난 성능을 보였습니다.
과학자들은 두 녹음을 섞고, 분리를 적용한 다음, 분리된 오디오 채널을 원래 두 녹음을 복원하도록 다시 혼합하는 방식으로 품질을 측정합니다. 재혼합된 오디오의 신호 대 잡음비(SNR)는 원본 녹음과 비교해 측정됩니다.
연구진은 또한 시스템이 실제 데이터에서 구별하기 매우 어려운 울음소리를 놀라울 만큼 잘 분리한 많은 사례를 발견했습니다.
새 종 분류
ARU로 녹음된 실제 소리에서 새를 분류하기 위해 과학자들은 먼저 소리를 5초 단위 구간으로 나눈 다음 각 구간의 멜 스펙트로그램을 만듭니다. 그런 다음 Xeno-Canto와 Macaulay Library의 오디오에서 얻은 멜 스펙트로그램 이미지로 새 종을 식별하도록 EfficientNet 분류기를 학습시킵니다.
연구진은 분류기 학습을 개선하기 위한 여러 새로운 방법을 소개했습니다. 분류학적 학습은 분류기가 종 분류의 각 단계(속, 과, 목)에 대한 라벨을 제공하도록 요구하며, 이를 통해 모델은 때로 미세한 차이가 있는 유사한 종들 간의 차이를 배우기 전에 종 그룹을 먼저 익힐 수 있습니다.
분류학적 학습은 또한 모델이 서로 다른 종 간의 분류학적 관계에 대한 전문가 정보를 활용할 수 있게 합니다. 연구진은 무작위 저역 통과 필터링이 학습 중 먼 거리의 소리를 모방하는 데 유용하다는 것을 발견했습니다. 소리원에서 멀어질수록 고주파 부분이 저주파보다 먼저 약해지기 때문입니다. 이는 나무의 방해 없이 새 울음소리가 매우 먼 거리까지 퍼지는 하이 시에라 지역의 종을 식별하는 데 특히 효과적이었습니다.
분리된 오디오 분류
엔지니어들은 분류 전에 새로운 MixIT 모델로 소리를 분리하면 세 개의 독립적인 실제 데이터셋에서 분류기의 성능이 향상된다는 것을 발견했습니다. 분리는 조용하고 배경에 있는 새를 식별하는 데 특히 성공적이었으며, 많은 경우 겹치는 울음소리 처리에도 도움이 되었습니다.
분리 모델에는 몇 가지 잠재적 한계가 있습니다. 때때로 하나의 노래가 여러 채널로 쪼개지는 과분리가 나타나며, 이는 잘못된 분류로 이어질 수 있습니다. 또한 여러 마리의 새가 동시에 울 때, 가장 두드러진 노래가 분리 후 종종 낮은 점수를 받습니다.
이는 환경 맥락의 손실이나 분리로 인해 발생하는, 분류기 학습 중에는 나타나지 않는 다른 원인 때문일 수 있습니다. 현재 과학자들은 분리된 채널과 원본 소리에 분류기를 각각 실행하고 종별 최고 점수를 취하는 방식으로 가장 좋은 결과를 얻고 있습니다. 앞으로의 연구를 통해 과분리를 줄이고 분리와 분류를 결합하는 더 나은 방법을 찾을 수 있을 것입니다.
향후 방향
현재 Google 엔지니어들은 캘리포니아 과학 아카데미와 협력하여, 수년간 수집된 ARU 소리에 이 모델을 적용해 산불 이후 서식지와 종 구성이 어떻게 변하는지 이해하려 하고 있습니다.
“우리는 이 비지도 분리 모델이 새 외에도 생태학에서 많은 잠재적 응용 가능성이 있다고 봅니다. 예를 들어, 분리된 소리는 특정 종을 식별하지 않고도 새, 곤충, 양서류의 전반적 활동을 추적해 생태계의 건강을 측정할 수 있는 더 나은 음향 지수를 만드는 데 사용될 수 있습니다”라고 연구진은 전했습니다.
유사한 방법은 산호초 상태를 추적하기 위해 수중에서도 사용될 수 있도록 조정될 수 있습니다.
