谷歌 DeepMind 部门的机器人团队推出了三款新产品，这些产品将帮助机器人在围绕人类执行任务时做出更快的决策，并更高效、更安全地行动。
AutoRT的数据采集系统基于视觉语言模型（VLM）和大语言模型（LLM），可帮助机器人评估其环境、适应不熟悉的环境并做出任务决策。 VLM用于分析环境并识别视野范围内的物体，而LLM则负责任务的创造性执行。 AutoRT最重要的创新是LLM模块中出现的“机器人构成”——以安全为导向的命令，告诉机器避免选择涉及人、动物、尖锐物体甚至电器的任务。为了额外的安全性，当关节上的力超过一定阈值时，工作被编程为停止；他们的设计现在有一个额外的物理开关，人们可以在紧急情况下使用。
在过去的七个月里，谷歌在其四栋办公楼中使用 AutoRT 系统部署了 53 个工作岗位，并进行了超过 77 次测试。一些机器由操作员远程控制，而另一些机器则根据给定算法或使用 Robotic Transformer (RT-2) AI 模型自主执行任务。到目前为止，所有这些机器人的外观都非常简单：它们是移动底座上的机械臂和用于评估情况的摄像头。
第二个创新是 SARA-RT（机器人变压器的自适应鲁棒注意力）系统，旨在优化 RT-2 模型的运行。研究人员发现，通过将输入数据加倍（例如提高相机的分辨率），机器人对计算资源的需求会增加四倍。这个问题通过一种称为“向上训练”的微调人工智能的新方法得到了解决——这种方法将对计算资源的需求的二次增长变成了几乎线性的增长。因此，模型运行速度更快，并保持了之前的质量。
最后，Google DeepMind 工程师开发了 RT-Trajectory AI 模型，该模型简化了训练机器人执行特定任务的过程。设置任务后，操作员亲自演示其执行示例，RT-Trajectory 分析人设置的运动轨迹并使其适应机器人的动作。
另请阅读：