人形機器人｜星動紀元開源端到端強化學習訓練框架“Humanoid-Gym”，開啟「sim-to-real」 新時代

2024年3月5日，具身智能與人形機器人公司星動紀元聯合清華大學、上海期智研究院開源了人形機器人強化學習訓練框架Humanoid-Gym。此舉意在降低人形機器人算法的開發門檻，助力全球學界和業界的研究者們在人形機器人領域的創新工作。

雷峰網(公眾號：雷峰網)了解到，星動紀元于2023年8月在北京成立，由清華大學交叉信息研究院孵化，致力于具身智能以及人形通用機器人技術和產品的研發。創始人陳建宇是清華大學交叉信息研究院助理教授、博士生導師，同時也是清華大學特聘研究員、擁有10+年機器人和AI研發經驗。

2024年1月份，星動紀元完成了超億元天使輪融資，由聯想創投領投，金鼎資本、世紀金源等跟投。此前，星動紀元已在人形機器人強化學習技術上取得多項突破，并在全球范圍內首次通過端到端強化學習實現人形機器人野外雪地行走和上下樓梯。

這次開源的 Humanoid-Gym 框架，旨在通過精心設計的獎勵函數以及域隨機化技術， 顯著簡化人形機器人的訓練以及實現 sim-to-real 轉換的難度，從而解決由于人形機器人結構高度復雜性導致其在強化學習訓練以及從模擬環境向真實世界遷移（即 sim-to-real transfer）的過程中遇到的挑戰。

目前，該框架已在星動紀元旗下的兩款機器人——小星（1.2米高）和小星max（1.65米高）上成功驗證。感興趣可通過以下地址訪問：

Project page: https://sites.google.com/view/humanoid-gym/

Github 代碼庫: https://github.com/roboterax/humanoid-gym

星動紀元表示，除了 用sim-to-real 驗證以外，另一個常見的做法是用第二個更高精度的仿真環境來做初步做驗證（sim-to-sim）。本次Humanoid-Gym開源后，用戶可以通過該框架輕松運用sim-to-sim轉換功能，先在更高精度的仿真環境Mujoco中進行初步驗證與篩選，從而提升sim-to-real轉換的效率和成功率。

除此之外，該開源項目還引入了若干評估指標，用以衡量訓練策略的效果，包括但不限于速度追蹤、動作絲滑程度等。

目前，星動紀元有兩款型號的人形機器人產品：小星和小星Max，來適配不同應用場景的需求。小星體型更小巧，動態性能強，可完成室內外跑、跳、高速行走等動作。小星Max為全尺寸人形機器人，身型高度和成年人相當，手臂、腰部以及全身其他部位具備更高的自由度，還配有高自由度靈巧手，未來目標場景是在工廠制造場景或服務場景，替代人類完成各種各樣較為精細的操作。

此次開源的Humanoid-Gym訓練框架，標志著星動紀元在人形機器人技術推廣和共享方面的積極姿態。通過降低進入門檻，星動紀元期望激發更多的創新思維和解決方案，共同推進人形機器人技術的未來發展。

雷峰網原創文章，未經授權禁止轉載。詳情見轉載須知。