人形机器人｜星动纪元开源端到端强化学习训练框架“Humanoid-Gym”，开启「sim-to-real」 新时代

2024年3月5日，具身智能与人形机器人公司星动纪元联合清华大学、上海期智研究院开源了人形机器人强化学习训练框架Humanoid-Gym。此举意在降低人形机器人算法的开发门槛，助力全球学界和业界的研究者们在人形机器人领域的创新工作。

雷峰网(公众号：雷峰网)了解到，星动纪元于2023年8月在北京成立，由清华大学交叉信息研究院孵化，致力于具身智能以及人形通用机器人技术和产品的研发。创始人陈建宇是清华大学交叉信息研究院助理教授、博士生导师，同时也是清华大学特聘研究员、拥有10+年机器人和AI研发经验。

2024年1月份，星动纪元完成了超亿元天使轮融资，由联想创投领投，金鼎资本、世纪金源等跟投。此前，星动纪元已在人形机器人强化学习技术上取得多项突破，并在全球范围内首次通过端到端强化学习实现人形机器人野外雪地行走和上下楼梯。

这次开源的 Humanoid-Gym 框架，旨在通过精心设计的奖励函数以及域随机化技术， 显著简化人形机器人的训练以及实现 sim-to-real 转换的难度，从而解决由于人形机器人结构高度复杂性导致其在强化学习训练以及从模拟环境向真实世界迁移（即 sim-to-real transfer）的过程中遇到的挑战。

目前，该框架已在星动纪元旗下的两款机器人——小星（1.2米高）和小星max（1.65米高）上成功验证。感兴趣可通过以下地址访问：

Project page: https://sites.google.com/view/humanoid-gym/

Github 代码库: https://github.com/roboterax/humanoid-gym

星动纪元表示，除了 用sim-to-real 验证以外，另一个常见的做法是用第二个更高精度的仿真环境来做初步做验证（sim-to-sim）。本次Humanoid-Gym开源后，用户可以通过该框架轻松运用sim-to-sim转换功能，先在更高精度的仿真环境Mujoco中进行初步验证与筛选，从而提升sim-to-real转换的效率和成功率。

除此之外，该开源项目还引入了若干评估指标，用以衡量训练策略的效果，包括但不限于速度追踪、动作丝滑程度等。

目前，星动纪元有两款型号的人形机器人产品：小星和小星Max，来适配不同应用场景的需求。小星体型更小巧，动态性能强，可完成室内外跑、跳、高速行走等动作。小星Max为全尺寸人形机器人，身型高度和成年人相当，手臂、腰部以及全身其他部位具备更高的自由度，还配有高自由度灵巧手，未来目标场景是在工厂制造场景或服务场景，替代人类完成各种各样较为精细的操作。

此次开源的Humanoid-Gym训练框架，标志着星动纪元在人形机器人技术推广和共享方面的积极姿态。通过降低进入门槛，星动纪元期望激发更多的创新思维和解决方案，共同推进人形机器人技术的未来发展。