#最新发现：在训练机器人时添加音频数据有助于它们更好地完成任务#斯坦福大学和丰田研究所的机器人专家联合团队发现，在训练机器人时将音频数据添加到视觉数据中有助于提高其学习能力。该团队已将他们的研究成果发布在arXiv预印本服务器上。

擦除评估。上图：不同的测试场景。下图：典型的失败案例和任务成功率。[仅视觉] 策略通常无法保持适当的接触（例如，要么用力按压到宽幅或浮动部分）。[MLP 融合] 策略通常无法完全擦除绘图并提前终止。来源：arXiv (2024)。

　　研究人员指出，几乎所有对人工智能机器人进行的训练都涉及让它们接触大量视觉信息，同时忽略相关音频。他们想知道，在机器人上添加麦克风并允许它们收集有关某事在执行过程中应该如何发出声音的数据，是否可以帮助它们更好地学习任务。

　　例如，如果机器人要学习如何打开一盒麦片并将其倒入碗中，那么听一听打开盒子的声音以及麦片落入碗中时的干燥声可能会有所帮助。为了找到答案，该团队设计并进行了四项机器人学习实验。

　　第一个实验是教机器人用铲子在煎锅里翻转百吉饼。第二个实验是教机器人用橡皮擦擦除白板上的图像。第三个实验是将杯子里的骰子倒入另一个杯子中，第四个实验是从三个可用样品中选择正确尺寸的胶带，并用它将电线粘在塑料条上。

　　所有实验都使用配备抓爪的同一机器人。所有实验都以两种方式进行，一种是仅使用视频，另一种是使用视频和音频。研究团队还改变了教学和表演因素，例如桌子高度、胶带类型或白板上的图像类型。

　　完成所有实验后，研究人员通过判断机器人学习和执行任务的速度和难易程度以及准确性来比较结果。他们发现，添加音频可以显著提高某些任务的速度和准确性，但对其他任务则没有效果。

　　例如，在倒骰子的任务中添加音频，可以大大提高机器人判断杯子里是否有骰子的能力。由于发出的独特声音，它还帮助机器人了解它是否对橡皮擦施加了适当的压力。另一方面，添加声音对于确定百吉饼是否已成功翻转或整个图像是否已从白板上成功删除没有多大帮助。

　　该团队最后表示，他们的工作表明，在人工智能机器人的教学材料中添加音频可以为某些应用提供更好的效果。

　　更多信息：Zeyi Liu 等人，ManiWAV：从野外视听数据学习机器人操作，arXiv(2024)。