开源人形机器人端到端强化学习训练框架！星动纪元联合清华大学、上海期智研究院发布Humanoid-Gym，开启sim-to-real新时代！
2024年3月5日，具身智能与人形机器人公司星动纪元联合清华大学、上海期智研究院开源了人形机器人强化学习训练框架Humanoid-Gym。此举意在降低人形机器人算法的开发门槛，助力全球学界和业界的研究者们在人形机器人领域的创新工作。此前，星动纪元已在人形机器人强化学习技术上取得多项突破，并在全球范围内首次通过端到端强化学习实现人形机器人野外雪地行走和上下楼梯。鉴于人形机器人结构的高度复杂性，其强化学习训练以及从模拟环境向真实世界迁移（即sim-to-real transfer）的过程，相较于四足机器人，往往更具挑战性。Humanoid-Gym框架通过其精心设计的奖励函数以及域随机化技术， 显著简化了人形机器人的训练以及实现sim-to-real转换的难度。目前，该框架已在星动纪元旗下的两款机器人——小星（1.2米高）和小星max（1.65米高）上成功验证。
除了用sim-to-real验证以外，另一个常见的做法是用第二个更高精度的仿真环境来做初步做验证（sim-to-sim）。本次Humanoid-Gym开源后，用户可以通过该框架轻松运用sim-to-sim转换功能，先在更高精度的仿真环境Mujoco中进行初步验证与筛选，从而提升sim-to-real转换的效率和成功率。
除此之外，本开源项目还引入了若干评估指标，用以衡量训练策略的效果，包括但不限于速度追踪、动作丝滑程度等。
此次开源的Humanoid-Gym训练框架，标志着星动纪元在人形机器人技术推广和共享方面的积极姿态。通过降低进入门槛，星动纪元期望激发更多的创新思维和解决方案，共同推进人形机器人技术的未来发展。
据悉，星动纪元于2023年8月在北京成立，由清华大学交叉信息研究院孵化，致力于具身智能以及人形通用机器人技术和产品的研发。就在今年1月份，星动纪元刚刚完成超亿元天使轮融资，由联想创投领投。
此前，星动纪元有两款型号的人形机器人产品：小星(XBot-S)和小星Max(XBot-L)，来适配不同应用场景的需求。小星体型更小巧，动态性能强，可完成室内外跑、跳、高速行走等动作。小星Max为全尺寸人形机器人，身型高度和成年人相当，手臂、腰部以及全身其他部位具备更高的自由度，还配有高自由度灵巧手，未来目标场景是在工厂制造场景或服务场景，替代人类完成各种各样较为精细的操作。
