Google、野鳥の鳴き声を分離して分類する「鳥類学者ニューラルネット」を開発

2022年2月1日, 09:00

鳥は私たちの周りのどこにでもいて、その声を聞くだけで周囲の環境について多くのことがわかります。生態学者は鳥を使って食物連鎖や森林の健康状態を把握します。たとえば森にアカゲラが多ければ、そこには枯れ木が多いことを意味します。鳥は歌やさえずりで互いに意思疎通をし、縄張りを主張するため、最も効果的な識別方法は聴覚による識別です。実際、専門家は姿で識別できる鳥の10倍もの数を、声で識別できます。

近年、自動録音装置（ARU）のおかげで、森林での数千時間に及ぶ音声の録音が容易になり、生態系をよりよく理解し、重要な生息地を特定するのに役立てられるようになりました。しかし、音声データを手作業で確認するには非常に時間がかかり、鳥の声の専門家は稀です。

機械学習（ML）に基づくアプローチは、生息環境を理解するために必要な専門家による評価の数を大幅に減らすことができます。ただし、機械学習による鳥の種の音声分類は、いくつかの理由から難しい場合があります。第一に、特に多くの鳥が最も活発になる「夜明けの合唱」の時間帯には、鳥がしばしば同時にさえずります。

さらに、学習に使える個々の鳥の明瞭な録音はありません。利用可能な学習データのほぼすべては、風や昆虫、その他の環境音が入りやすい騒がしい屋外で録音されたものです。その結果、既存の鳥の鳴き声分類モデルは、小さく、遠くから聞こえ、他の音と重なる鳴き声の識別に苦労しています。

最も一般的な種の鳴き声は、あまり一般的でない種の学習用録音の背景に、ラベルなしで現れることがよくあります。そのためモデルは一般的な種を考慮しなくなってしまいます。こうした難しいケースは、自動化システムで絶滅危惧種を識別したい生態学者にとって非常に重要です。

孤立した音のサンプルにアクセスせずに音声を自動的に分離する機械学習モデルを学習させるという一般的な課題に取り組むため、Googleの研究者は最近、「ミックス不変学習（MixIT）」と呼ばれる新しい教師なし手法を提案しました。論文「ミックス不変学習を用いた教師なし音源分離」でその手法が紹介されています。

また、論文「教師なし音源分離による鳥類分類の改善」では、MixIT学習を用いて鳥の鳴き声を分離し、種の分類精度を高めています。研究者らは、分離された音を分類に組み込むことで、3つの独立した音響環境データセットにおける分類の精度と品質が向上することを発見しました。

鳥の鳴き声の音源分離

MixITは、モノラル録音を複数の個別トラックに分離することを学習し、ノイズの多い現実世界の録音だけで完全に学習することができます。分離モデルを学習させるために、研究者らは2つの現実世界の録音を混ぜ合わせた「ミックスのミックス（MoM）」を作成します。次に分離モデルは、2つの元の現実世界の録音を正解の基準として用いる損失関数を最小化するように、MoMを複数のチャンネルに分解することを学習します。

損失関数はこれらの参照を用いて、分離されたチャンネルをグループ化し、それらを混ぜ合わせて元の2つの現実世界の録音を再現できるようにします。MoM内のさまざまな音が元の録音でどのようにまとめられていたかは知ることができないため、分離モデルは個々の音を分離する以外に選択肢がなく、その結果、歌っている各鳥を別々の出力オーディオチャンネルに配置し、風や他の背景ノイズからも分離することを学習します。

研究者らは、Xeno-CantoとMacaulay Libraryの鳥のさえずりの録音を使って新しいMixITの分離モデルを学習させました。その結果、鳥のさえずりの分離において、この新しいモデルは、AudioSetデータセットの大量の一般音声で学習させたMixITモデルを上回ることがわかりました。

科学者たちは、2つの録音を混ぜ合わせ、分離を適用し、分離された音声チャンネルを、元の2つの録音を再現するように再度ミックスすることで品質を測定します。再ミックスされた音声の信号対雑音比（SNR）は、元の録音と比較して測定されます。

研究者らは、実際のデータの中で非常に聞き分けにくい鳴き声を、システムが驚くほどうまく分離した多くの例も発見しました。

鳥の種の分類

ARUで記録された実際の音声から鳥を分類するため、科学者たちはまず音声を5秒のセグメントに分割し、各セグメントのメル・スペクトログラムを作成しました。次に、Xeno-CantoとMacaulay Libraryの音声から得たメル・スペクトログラム画像を使って、EfficientNet分類器に鳥の種を識別するよう学習させています。

研究者たちは、分類器の学習を改善するためのいくつかの新手法を発表した。分類学的学習では、分類器に種の分類体系の各階層（属、科、目）のラベルを提供させる。これにより、モデルは、時に微妙な違いしかない類似種を学習する前に、種のグループを学習できる。

分類学的学習によって、モデルは種間の分類学的関係に関する専門家の情報を活用することもできる。研究者らは、学習中に遠くの音を模倣するにはランダムなローパスフィルタが有用であることを発見した。音源から遠ざかるにつれ、高周波成分は低周波成分よりも早く減衰する。これは、鳥の鳴き声が障害物の木々に遮られることなく非常に遠くまで届くハイ・シエラ地域の種を識別する際に特に効果的だった。

分離された音声の分類

エンジニアらは、分類の前に新しいMixITモデルで音声を分離すると、3つの独立した実世界のデータセットで分類器の性能が向上することを発見した。分離は、静かな鳥や背景の鳥の識別に特に有効で、多くの場合、重なり合う鳴き声の識別にも役立った。

分離モデルにはいくつかの潜在的な制約がある。時に過剰分離が起こり、1つの鳴き声が複数のチャンネルに分割されて、誤分類につながる可能性がある。また、複数の鳥が鳴いている場合、最も目立つ鳴き声が分離後に低いスコアになることがよくある。

これは、環境コンテキストの喪失や、分類器の学習中には現れない分離による他の要因が原因である可能性がある。現時点では、科学者らは分離されたチャンネルと元の音声の両方で分類器を実行し、各種の最大スコアを取得することで最良の結果を得ている。今後の研究により、過剰分離を減らし、分離と分類を組み合わせるより良い方法を見つけられるようになるだろう。