在機器人技術(shù)領(lǐng)域的最新進展中,智元機器人公司近日宣布推出了一項名為AgiBot Digital World的大型仿真框架。這一創(chuàng)新工具旨在為機器人操作提供全面的仿真數(shù)據(jù)生成方案、預(yù)訓(xùn)練數(shù)據(jù)集和統(tǒng)一的評測標準,同時,智元機器人還慷慨地開源了規(guī)模龐大的仿真數(shù)據(jù)集。
AgiBot Digital World框架專為機器人操作技能的研究與應(yīng)用而設(shè)計,集成了海量的高精度三維資產(chǎn)、多樣化的專家軌跡生成機制以及全面的模型評估工具。借助高保真度的模擬訓(xùn)練場景和全鏈自動化數(shù)據(jù)生成能力,該框架能夠生動再現(xiàn)各種復(fù)雜的機器人操作情境。

AgiBot Digital World的三維資產(chǎn)庫包含了豐富多樣的物體、場景和機器人模型,這些資產(chǎn)均通過精細的人工建模、三維重建技術(shù)和生成式人工智能(AIGC)轉(zhuǎn)化而來,能夠滿足各種復(fù)雜機器人操作任務(wù)的仿真需求。框架基于NVIDIA Isaac-Sim仿真平臺,提供高度逼真的視覺渲染和精確的物理模擬,使得仿真情景與真實世界之間的域差異降至最低,感知和交互的細節(jié)極為真實。

AgiBot Digital World引入了多模態(tài)大模型,支持自動生成操作任務(wù)和基于指定任務(wù)自動生成操作場景及物體布局。這一功能使得用戶能夠根據(jù)實際訓(xùn)練需求,靈活創(chuàng)建多樣化、復(fù)雜度可調(diào)的仿真任務(wù)與仿真環(huán)境,從而實現(xiàn)了數(shù)據(jù)閉環(huán)。例如,在書房場景中,若機器人需要從桌面任務(wù)轉(zhuǎn)向書架上的立面操作,只需一鍵召喚取書任務(wù),系統(tǒng)便會自動捕捉到環(huán)境中的書架。

在數(shù)據(jù)生成方面,AgiBot Digital World提供了多元化專家軌跡生成策略,包括真機操作數(shù)字孿生、具身智能體自動生成以及仿真遙操作。這些策略使得框架能夠生成豐富多樣的專家軌跡數(shù)據(jù),增強模型在真實環(huán)境中的泛化能力。同時,數(shù)據(jù)生成引擎還支持環(huán)境光照、物體材質(zhì)、物理屬性域的隨機化,以及多種操作軌跡增強方式,進一步提升了數(shù)據(jù)的多樣性和魯棒性。

智元機器人此次開源的仿真數(shù)據(jù)集AgiBot Digital World Dataset涵蓋了家居、商超、辦公、餐飲和工業(yè)五大場景,其中家居場景最為豐富,占比36%;商超占比21%;其余場景各占14.3%。數(shù)據(jù)集包含超過180種具體物品,涵蓋9大品類和9種主要材質(zhì),同時還囊括了12種核心技能,如抓、放、插、倒等。這些數(shù)據(jù)具有高質(zhì)量、快速泛化、任務(wù)多樣和應(yīng)用靈活等特點,為端到端模型的可靠訓(xùn)練提供了堅實基礎(chǔ)。

據(jù)了解,AgiBot Digital World框架后續(xù)還將進一步擴展,適配更多的機器人本體和執(zhí)行器,并融合更多模態(tài),包括深度噪聲傳感器仿真、觸覺傳感仿真等。智元機器人的這一開源行動無疑為各類場景應(yīng)用提供了堅實的開發(fā)基礎(chǔ)和廣泛的應(yīng)用可能性,有望極大地加速具身智能技術(shù)的開發(fā)和應(yīng)用進程。






