Meta AI推出ReSkin:面向AI触觉感知研究的通用“皮肤”
我们的触觉帮助我们感知周围的世界。借助触觉,我们能够获取物体的信息(它们是轻是重、是软是硬、稳定还是不稳定),并用于日常任务,从穿鞋到做饭。人工智能能够有效整合视觉、听觉等感官,但触觉始终是一个难题。
这是由于在现实环境中获取触觉数据受限。希望将触觉纳入模型的AI研究人员,难以像人类那样充分利用丰富的感官信息。Facebook宣布推出ReSkin——一种全新的开源传感“外壳”,由Meta AI研究人员与卡内基梅隆大学合作开发,有望快速、大规模地提升AI的触觉能力。
借助机器学习和磁感应技术的进步,ReSkin提供了一种廉价、通用、可靠且可更换的长期使用方案。该皮肤采用自监督学习算法,能够帮助自动校准传感器,使其具有通用性,并能与其他传感器和系统共享数据。

公司计划发布设计方案、配套文档、代码和基础模型,帮助AI研究人员使用ReSkin,而无需自行收集和训练数据集。这将有助于快速、大规模地提升AI的触觉能力。像ReSkin这样的传感皮肤将提供大量接触数据,有助于推动AI在广泛的感知任务中取得进展,包括物体分类、本体感觉和机器人抓取。
经过触觉感知训练的AI模型将能够完成多种类型的任务,包括需要高灵敏度的任务,例如在医疗机构中工作,或需要更灵巧地操纵小型、柔软或易损物体的任务。ReSkin可与其他传感器集成,在实验室之外和非结构化环境中收集视觉、声音和触觉数据。融合多模态数据集有助于构建物理上逼真的世界模型,并利用冗余信息进行自主学习。
ReSkin每100件的价格不到6美元,批量购买时价格更低。其厚度为2-3毫米,可使用超过5万次交互。该皮肤的所有特性使其适用于多种外形,例如机器人手臂、触觉手套、袖套,甚至狗鞋。所有这些都将帮助研究人员收集以往难以或无法获取的触觉数据,用于训练新的AI模型。ReSkin还能输出高频三轴触觉信号,适用于滑动、抛接、拍击等快速操作。磨损后,可轻松取下并更换。

由于ReSkin是一种内嵌磁性颗粒的弹性体,当它以任何方式发生形变时,周围的磁信号会随之改变。这些变化可以通过附近的磁力计测量,并借助控制方法将数据转换为接触位置和施加力大小等信息。
目前,大多数触觉感知实验依赖单一传感器,因为每次更换皮肤都需要重新训练模型,既低效又不切实际。为避免每次更换皮肤都要重新训练,研究人员一直致力于开发通用皮肤。
«借助ReSkin,我们通过三个关键思路解决了这些问题。首先,ReSkin无需在柔性材料与传统测量电子设备之间建立电气连接。磁信号依赖距离,因此电子元件只需位于附近即可。ReSkin还比传统柔性传感器更高效,因为它将内部电路与被动接口分离开来。这使得更换磨损的皮肤变得像撕下并重新粘贴贴纸一样简单。其次,我们不再依赖单一传感器的输入,而是利用多个传感器的数据来更好地训练模型的映射函数。这样,我们让模型学习到了更多样化的数据,有助于其产生更高效、更具泛化能力的结果》,Meta AI的研究人员表示。

无需为每个新传感器收集校准数据,而是利用自监督学习技术,通过少量未标注数据自动对传感器进行精细调整。ReSkin开启了一系列通用、廉价且可扩展的触觉模块,这些是现有系统无法实现的。
“可靠的触觉能力是机器人技术的一大短板。现有传感器要么太昂贵,要么分辨率低,要么对于专用机器人而言体积过于庞大。ReSkin或许能解决其中一些问题。其轻巧小巧的外形使其适用于各种抓手,我期待在我们实验室的机器人上进一步研究这款传感器”
为了展示ReSkin如何帮助研究人员推进人工智能利用多样化的触觉数据,这些数据以往很难收集,其工作成果已通过多个应用示例进行了演示:
手部操作。ReSkin为手部操作提供了有用的触觉识别特性,例如用于开发人工智能,让机器人学会使用钥匙、开门,或抓取葡萄、蓝莓等易碎物品。

野外环境中的触觉力测量。紧凑且不易察觉的设计使ReSkin非常适合在野外环境中测量触觉力。为了进行演示,研究人员将一块磁性皮肤和一块柔性印刷电路板放入狗鞋的鞋底内。传感器可在狗休息、行走和奔跑时追踪所施加力的大小和方向。

人与物体的交互。ReSkin适用于测量人在与物体自然互动时的受力情况,例如我们抬起物品或用手推动物体的时候。研究人员将皮肤和硬质印刷电路板放在受试者右手食指上,并戴上丁腈手套。

接触点定位。ReSkin可以扩展到大面积上进行接触点定位。这有助于构建基于物体位置信息的模型。例如,如果研究人员想让机器人可靠地抓取某物,就需要知道它在何处接触物体以及施加了多大的力。
