在機器人技術的前沿探索中,一款名為AgiBot Digital World的大型仿真框架橫空出世,由智元機器人公司自主研發并正式推出。該框架旨在為機器人操作提供一個集靈活數據生成、預訓練仿真數據及統一評測標準于一體的綜合性解決方案,并慷慨地開源了海量的仿真數據資源。
AgiBot Digital World專門設計用于機器人操作技能的研究與應用,集成了豐富的三維資產庫、多樣化的專家軌跡生成機制以及全面的模型評估工具。通過高度逼真的模擬訓練場景和全鏈自動化的數據生成流程,它能夠提供一系列具身仿真服務,精準再現各種復雜的機器人訓練場景。
尤為智元機器人同步開源的AgiBot Digital World Dataset數據集,覆蓋了家居、商超、辦公、餐飲和工業五大場景,包含了超過180種具體物品、9種常見材質以及12種核心操作技能。這些數據資源為機器人的操作訓練提供了堅實的基礎。
AgiBot Digital World的三維資產庫堪稱龐大且多樣,涵蓋了各種物體、場景和機器人模型。這些資產通過精細的人工建模、三維重建技術和先進的生成式人工智能技術轉化而來,能夠滿足各類復雜機器人操作任務的仿真需求。資產庫中的三維模型栩栩如生,仿佛將真實世界搬進了數字空間。

基于NVIDIA Isaac-Sim仿真平臺,AgiBot Digital World提供了高度逼真的視覺渲染和精確的物理模擬。在仿真環境中,光影效果自然流暢,物體的物理行為也極為真實。例如,當機器人將小車放入籃子時,兩者之間的碰撞和晃動都栩栩如生。

為了進一步提升仿真的靈活性和多樣性,AgiBot Digital World引入了多模態大模型。這一創新技術使得系統能夠基于資產庫自動生成操作任務,并根據指定任務自動生成相應的操作場景和物體布局。這意味著,無論是簡單的桌面操作還是復雜的立面操作,系統都能根據實際需求靈活創建仿真任務與環境。
在數據生成方面,AgiBot Digital World同樣表現出色。它提供了多元化的專家軌跡生成策略,包括真機操作數字孿生、具身智能體自動生成以及仿真遙操作等。這些策略不僅豐富了數據標簽和數據增廣的手段,還為機器人操作軌跡的自動化生成提供了有力支持。通過環境光照、物體材質和物理屬性的隨機化以及多種操作軌跡增強方式,系統能夠生成具有多樣性和魯棒性的專家軌跡數據,從而增強模型在真實環境中的泛化能力。

此次開源的仿真數據集不僅數量龐大,而且質量上乘。它涵蓋了家居、商超、辦公、餐飲和工業等多個場景,每個場景都包含了豐富的物體品類和材質類型。數據集還囊括了抓、放、插、倒等12種核心操作技能,使得機器人能夠靈活應對各種復雜任務。這些高質量的數據資源為端到端模型的可靠訓練提供了有力保障,同時也為機器人在不同環境下的快速泛化提供了可能。

智元機器人的這一開源行動無疑為具身智能技術的開發應用注入了新的活力。隨著AgiBot Digital World的進一步擴展和適配更多機器人本體及執行器,以及融合更多模態的仿真數據,我們有理由相信,機器人技術的未來將更加光明和廣闊。






