谷歌打造“鸟类学家神经网络”，用于在野外区分鸟鸣并进行分类

2022年2月1日, 09:00

鸟类无处不在，只要聆听它们，我们就能从中了解很多关于环境的信息。生态学家利用鸟类来了解食物网和森林健康状况，例如，如果森林中啄木鸟更多，就意味着那里有大量枯死的树木。由于鸟类通过歌声和叫声交流并标记领地，因此通过听声音来识别它们最为有效。事实上，专家通过听声音识别的鸟类数量是通过外形识别的10倍。

近年来，自主录音设备（ARU）使记录森林中数千小时的声音变得更加容易，这些录音可用于更好地了解生态系统并确定关键栖息地。然而，人工查看音频数据非常耗时，而鸟鸣专家又十分稀缺。

基于机器学习（ML）的方法可以大幅减少理解栖息地所需的专家评估次数。然而，基于机器学习的鸟类音频分类可能因多种原因而十分困难。首先，鸟类经常同时歌唱，尤其是在“黎明合唱”期间，此时许多鸟类最为活跃。

此外，没有清晰的单只鸟类录音可供学习——几乎所有可用的训练数据都是在户外嘈杂环境中录制的，常常混有风声、昆虫声和其他环境声音。因此，现有的鸟鸣分类模型难以识别安静、遥远和相互重叠的鸣叫。

一些最常见的物种常常在较少见物种的训练录音背景中未被标注地出现，导致模型忽略了常见物种。这些复杂情况对于希望借助自动化系统识别濒危物种的生态学家来说非常重要。

为解决在无法获取孤立声音样本的情况下训练机器学习模型以自动分离音频录音的普遍问题，谷歌研究人员最近提出了一种名为“混合不变性训练”（MixIT）的新型无监督方法，相关论文为《使用混合不变性训练的无监督声音分离》。

此外，在论文《利用无监督声音分离改进鸟类分类》中，他们使用MixIT训练来分离鸟鸣并提高物种分类效果。科学家发现，在分类中加入分离后的声音，可提高三个独立声景数据集上的分类准确率和质量。

鸟鸣声音分离

MixIT学习将单通道录音分离为多个独立音轨，并能完全基于嘈杂的真实世界录音进行训练。为训练分离模型，研究人员构建“混合的混合”（MoM），即把两段真实录音混合在一起。随后，分离模型学习将MoM拆分为多个通道，同时最小化一个损失函数，该函数以两段原始真实录音作为真值参考。

损失函数利用这些参考对分离出的通道进行分组，使它们可以重新混合，从而重建两段原始真实录音。由于无法得知MoM中各种声音在原始录音中是如何归组的，分离模型别无选择，只能分开各个独立声音，从而学会将每只鸣唱的鸟放在不同的输出音频通道中，并把它们与风声和其他背景噪声分离开。

研究人员使用来自Xeno-Canto和Macaulay Library的鸟鸣录音训练了新的MixIT分离模型。他们发现，在分离鸟鸣方面，该新模型优于在AudioSet数据集的大量通用声音上训练的MixIT分离模型。

科学家通过以下方式衡量质量：先将两段录音混合，再进行分离，然后将分离出的音频通道重新混合，使其还原为两段原始录音。随后，以原始录音为基准，测量重新混合音频的信噪比（SNR）。

研究人员还发现了许多案例，在真实数据中，系统能够出色地分离出极难分辨的叫声。

为了对ARU录制的真实声音中的鸟类进行分类，科学家首先将声音切分为五秒片段，然后为每个片段生成梅尔频谱图。随后，他们使用Xeno-Canto和Macaulay Library的音频，训练EfficientNet分类器根据梅尔频谱图图像识别鸟类物种。

研究人员提出了几种改进分类器训练的新方法。分类学训练要求分类器为物种分类的每一级（属、科和目）提供标签，使模型在学习有时细微的相似物种之间的差异之前，先学会识别物种群组。

分类学训练还使模型能够利用专家提供的不同物种之间分类关系的信息。他们发现，在训练中使用随机低通滤波有助于模拟远距离的声音：随着声源距离增加，高频部分比低频部分衰减得更快。这种方法对于识别内华达山脉地区的物种特别有效，那里的鸟鸣可以在没有树木阻挡的情况下传播很远的距离。

工程师发现，在分类前使用新的MixIT模型分离声音，可提升分类器在三个独立真实数据集上的表现。分离对于识别安静和背景中的鸟类特别有效，并且在许多情况下也有助于处理相互重叠的鸣叫。

该分离模型存在一些潜在局限。有时会出现过度分离的情况，即一首歌曲被拆分到多个通道中，这可能导致错误分类。此外，当多只鸟同时歌唱时，最响亮的那首歌在分离后往往得分较低。

这可能是由于分离导致的环境背景丢失，或是训练分类器时未出现的其他分离相关原因。目前，科学家通过在分离后的通道和原始声音上同时运行分类器，并为每个物种取最高分，获得了最佳结果。未来的工作将致力于减少过度分离，并寻找更好的方法来结合分离与分类。

目前，谷歌工程师正与加州科学院合作，将这些模型应用于多年收集的ARU声音，以了解森林大火之后栖息地和物种组成如何变化。

“我们还预见到，无监督分离模型在鸟类之外的生态学中有许多潜在应用。例如，分离后的声音可用于构建更优质的声学指数，通过追踪鸟类、昆虫和两栖动物的总体活动来衡量生态系统健康状况，而无需识别具体物种”，研究人员表示。

类似方法也可以改造后用于水下，以监测珊瑚礁的状况。