在機器人技術的前沿探索中,一款名為AgiBot Digital World的大型仿真框架橫空出世,由智元機器人團隊自主研發并正式對外發布。該框架旨在為機器人操作技能的研發與應用提供一套靈活高效的仿真數據生成方案,以及一個統一且嚴謹的模型評測標準。
AgiBot Digital World精心構建了一個龐大且逼真的三維資產庫,涵蓋了多樣化的物體、場景和機器人模型。這些資產通過精細的人工建模、先進的三維重建技術以及前沿的生成式人工智能技術轉化而來,確保了仿真環境能夠高度還原真實世界的復雜性與多樣性。無論是家居、商超、辦公、餐飲還是工業場景,AgiBot Digital World都能提供詳盡且逼真的模擬訓練環境。

借助NVIDIA Isaac-Sim仿真平臺,AgiBot Digital World實現了視覺渲染與物理模擬的高度逼真。光影效果自然流暢,物體的物理屬性也得到了精準模擬。例如,當機器人在仿真環境中移動物體時,物體的晃動、碰撞等物理效應都表現得淋漓盡致,極大地增強了仿真環境的真實感。

更為先進的是,AgiBot Digital World引入了多模態大模型技術,能夠根據實際需求自動生成操作任務、操作場景以及物體布局。這一功能使得仿真任務的創建變得靈活多變,能夠輕松應對各種復雜度和多樣性的訓練需求。同時,系統還能夠根據當前環境自動調用資產庫補充物體或切換場景,確保了仿真環境的完整性和真實性。

在數據生成方面,AgiBot Digital World提供了多元化的專家軌跡生成策略。通過真機操作數字孿生、具身智能體自動生成以及仿真遙操作等方式,系統能夠高效地生成豐富多樣的專家軌跡數據。這些數據不僅具有多樣性和魯棒性,還能夠為數據增廣提供寶貴的專家示例軌跡。同時,數據生成引擎還支持多模態數據的采集與處理,包括多視角RGB-D圖像、觸覺信息以及機器人狀態信息等,為策略學習提供了全面的數據支持。

為了進一步推動機器人技術的發展與應用,智元機器人還開源了海量的仿真數據集AgiBot Digital World Dataset。該數據集涵蓋了五大場景、180多種具體物品、9種常見材質以及12種核心技能。這些數據具有高質量、高泛化性、任務多樣性以及應用靈活性等特點,能夠為各類場景應用提供堅實的開發基礎和廣泛的應用可能性。通過開源這些數據集,智元機器人有望降低行業研發門檻,加速具身智能技術的開發與應用進程。







