近二十年来，人形机器人的发展进展缓慢，但最近我们在这一领域看到了越来越多的突破。正如我们最近所写，一款 AI 机器人在 MWC 2024 上亮相 阿美卡，以及另一个发展， 优树H1，打破了人形机器人的速度记录。现在，Figure AI 和 OpenAI 公司合作的一个惊人成果已经出现在互联网上——一段令人惊叹的人形机器人视频，它现在可以与人进行对话。
初创公司Figure AI发布了一段视频，展示了Figure 01机器人使用新的视觉语言模型（VLM）的情况。其中，人物01站在一张桌子旁，桌子上有一个盘子、一个苹果和一个杯子。左边有一个烘干机。当有人问机器人在他面前看到什么时，他会详细描述桌子上的所有东西来回答。
然后那个人问他是否可以吃点东西，机器人回答：“当然”，然后他以灵巧流畅的动作接过苹果，递给了那个人。接下来是另一个令人惊叹的演示——一名男子将皱巴巴的垃圾从图01前面的篮子里倒出来，并要求机器人解释他这样做的原因，同时将篮子里的垃圾收集起来。他一边解释自己的“想法”，一边把纸放回垃圾桶。 “所以我给了你一个苹果，因为这是我可以从桌子上给你的唯一可食用的东西，”机器人说。
公司代表解释，图01使用了预训练的多模态模型 OpenAI、VLM，能够理解图像和文本，并依靠语音提示来生成其响应。这与 OpenAI 的 GPT-4 等不同，后者侧重于书面提示。
它还使用该公司所谓的“学习低级双手操作”。该系统通过神经网络协调精确的图像校准（低至像素级）以进行运动控制。 “这些网络以 10 Hz 的频率接收图像，并以 24 Hz 的频率生成 200 自由度的动作（手腕姿势和手指关节角度），”Figure AI 在一份声明中表示。
该公司声称视频中的每一个行为都是基于系统学习，因此没有人在幕后操纵Figure 01。当然，有一个细微差别——不知道机器人经历了多少次这个过程。或许已经是第一百次了，这就解释了他动作的精确性。但无论如何，这个成就看起来很壮观，也有点不可思议。
图01 现在正在完成现实世界的任务
一切都是自主的：
-自主导航和基于力的操纵
- 用于垃圾箱检测和优先级排序的学习视觉模型
-反应箱操作（稳健的姿势变化）
-可推广到其他拾取/放置任务 PIC。twitter.com/0wFmYnq0GC— 图（@Figure_robot） 2024 年 2 月 26 日
另请阅读：