瑜伽球上遛「狗」！入选英伟达十大项目之一的Eureka有了新突破
2024-05-05 星期日
机器狗在瑜伽球上稳稳当当的行走，平衡力那是相当的好：
各种场景都能拿捏，不管是平坦的人行道、还是充满挑战的草坪都能 hold 住：
- 论文地址：https://eureka-research.github.io/dr-eureka/assets/dreureka-paper.pdf
- 项目主页：https://github.com/eureka-research/DrEureka
- 论文标题：DrEureka: Language Model Guided Sim-To-Real Transfer
这项研究由宾夕法尼亚大学、 NVIDIA 、得克萨斯大学奥斯汀分校的研究者联合打造，并且完全开源。他们提出了 DrEureka（域随机化 Eureka），这是一种利用 LLM 实现奖励设计和域随机化参数配置的新型算法，可同时实现模拟到现实的迁移。该研究展示了 DrEureka 算法能够解决新颖的机器人任务，例如四足机器人平衡和在瑜伽球上行走，而无需迭代手动设计。在论文摘要部分，研究者表示将在模拟中学习到的策略迁移到现实世界是一种大规模获取机器人技能的有前途的策略。然而，模拟到现实的方法通常依赖于任务奖励函数以及模拟物理参数的手动设计和调整，这使得该过程缓慢且耗费人力。本文研究了使用大型语言模型 (LLM) 来自动化和加速模拟到现实的设计。论文作者之一、英伟达高级科学家 Jim Fan 也参与了这项研究。此前英伟达成立 AI 实验室，领队人就是 Jim Fan，专攻具身智能。Jim Fan 表示：「我们训练了一只机器狗能在瑜伽球上保持平衡并行走，这完全是在模拟中进行的，然后零样本迁移到现实世界，无需微调，直接运行。对机器狗来说，走瑜伽球任务尤其困难，因为我们无法准确模拟弹力球表面。然而，DrEureka 可以轻松搜索大量模拟真实配置，并让机器狗能够在各种地形上操控球，甚至横着走！一般来讲，从模拟到现实的迁移是通过域随机化实现的，这是一个繁琐的过程，需要机器人专家盯着每个参数并手动调整。像 GPT-4 这样的前沿 LLM 拥有大量内置的物理直觉，包括摩擦、阻尼、刚度、重力等，借助 GPT-4，DrEureka 可以熟练地调整这些参数并很好地解释其推理。」
DrEureka 流程如下所示，其接受任务和安全指令以及环境源代码，并运行 Eureka 以生成正则化的奖励函数和策略。然后，它在不同的模拟条件下测试该策略以构建奖励感知物理先验，并将其提供给 LLM 以生成一组域随机化 (DR) 参数。最后，使用合成的奖励和 DR 参数训练策略以进行实际部署。Eureka 奖励设计。奖励设计组件基于 Eureka，因为它简单且具有表现力，但本文引入了一些改进，以增强其在模拟到真实环境中的适用性。伪代码如下：奖励感知物理先验（RAPP，reward aware physics prior）。安全奖励函数可以规范策略行为以固定环境选择，但本身不足以实现模拟到现实的迁移。因此本文引入了一种简单的 RAPP 机制来限制 LLM 的基本范围。LLM 用于域随机化。给定每个 DR 参数的 RAPP 范围，DrEureka 的最后一步指示 LLM 在 RAPP 范围的限制内生成域随机化配置。具体过程参见图 3：该研究使用 Unitree Go1 来实验，Go1 是一个小型四足机器人，四条腿有 12 个自由度。在四足运动任务中，本文还系统地评估了 DrEureka 策略在几个现实世界地形上的性能，发现它们仍然具有鲁棒性，并且优于使用人类设计的奖励和 DR 配置训练的策略。