稚暉君後宇樹也來玩開源了:機器人操作數據集
繼稚暉君之後,國內又一家頭部機器人公司玩起了開源!
宇樹科技,開源Unitree G1機器人操作數據集,包括數據採集、學習算法、數據集和模型,並表示將持續更新。
更令網友意外的是,宇樹基於抱抱臉LeRobot開源框架訓練並測試。
抱抱臉聯合創始人兼CEO緊忙碼住轉發:
此套開源數據集目前包括擰瓶蓋倒水:
疊三色積木等5種操作:
網友對於宇樹這波開源紛紛豎起了大拇哥:
具體來看,數據採集方面,目前使用蘋果Vision Pro對G1進行遙操作控制的倉庫,已超400star:
其中包含遙操作控制的代碼教程:
以及硬件配置圖、物料清單和安裝說明:
訓練方法如前所述,基於lerobot:
還有將前面遙操作採集的JSON格式數據轉爲lerobot所需格式的教程。
最後就是數據集和模型,目前模型還顯示“尚未公開”,數據集使用配備有三指靈巧手的宇樹G1人形機器人收集,每張圖分辨率爲640x480,每個手臂和靈巧手的狀態和動作維度爲7。
包含五大操作數據集:
除了開頭所展示的擰瓶蓋倒水、堆疊紅、黃、綠三色木塊,還有將攝像頭放入相應包裝盒、收集物品並存儲、雙臂抓取紅色木塊並將其放入一個黑色長方形容器中:
最後再來簡單介紹一下宇樹G1,量子位此前也有持續關注。
今年5月份首次亮相,當時官方首先展示的就是它的手部以及操作能力。
也是採用3指力控靈巧手,通過力位混合控制,能擰瓶蓋、砸核桃,還能做焊接。
在視覺傳感器方面,搭載了Intel RealSense D435和LIVOX-MID360 3D激光雷達,能夠實現360°的探測感知。
8月份,宇樹更是宣佈G1可大規模量產了。
基於端到端深度強化學習和仿真訓練的技術路線,G1可快速升級迭代。
G1量產版性能更強,能單腿跳躍:
還能原地起跳360度轉身:
而且發售價9.9萬起,讓一衆同行坐不住。
如今伴隨G1數據集開源,距離讓機器人替我上班是不是又前進了一丟丟。
參考鏈接:[1]https://x.com/unitreerobotics/status/1856273635461488867?s=46[2]https://github.com/unitreerobotics/avp_teleoperate/blob/g1/README_zh-CN.md[3]https://huggingface.co/unitreerobotics[4]https://github.com/unitreerobotics/unitree_IL_lerobot