在機器人技術(shù)領(lǐng)域的最新進展中，智元機器人公司近日宣布推出了一項名為AgiBot Digital World的大型仿真框架。這一創(chuàng)新工具旨在為機器人操作提供全面的仿真數(shù)據(jù)生成方案、預(yù)訓(xùn)練數(shù)據(jù)集和統(tǒng)一的評測標準，同時，智元機器人還慷慨地開源了規(guī)模龐大的仿真數(shù)據(jù)集。
AgiBot Digital World框架專為機器人操作技能的研究與應(yīng)用而設(shè)計，集成了海量的高精度三維資產(chǎn)、多樣化的專家軌跡生成機制以及全面的模型評估工具。借助高保真度的模擬訓(xùn)練場景和全鏈自動化數(shù)據(jù)生成能力，該框架能夠生動再現(xiàn)各種復(fù)雜的機器人操作情境。
AgiBot Digital World的三維資產(chǎn)庫包含了豐富多樣的物體、場景和機器人模型，這些資產(chǎn)均通過精細的人工建模、三維重建技術(shù)和生成式人工智能（AIGC）轉(zhuǎn)化而來，能夠滿足各種復(fù)雜機器人操作任務(wù)的仿真需求。框架基于NVIDIA Isaac-Sim仿真平臺，提供高度逼真的視覺渲染和精確的物理模擬，使得仿真情景與真實世界之間的域差異降至最低，感知和交互的細節(jié)極為真實。
AgiBot Digital World引入了多模態(tài)大模型，支持自動生成操作任務(wù)和基于指定任務(wù)自動生成操作場景及物體布局。這一功能使得用戶能夠根據(jù)實際訓(xùn)練需求，靈活創(chuàng)建多樣化、復(fù)雜度可調(diào)的仿真任務(wù)與仿真環(huán)境，從而實現(xiàn)了數(shù)據(jù)閉環(huán)。例如，在書房場景中，若機器人需要從桌面任務(wù)轉(zhuǎn)向書架上的立面操作，只需一鍵召喚取書任務(wù)，系統(tǒng)便會自動捕捉到環(huán)境中的書架。
在數(shù)據(jù)生成方面，AgiBot Digital World提供了多元化專家軌跡生成策略，包括真機操作數(shù)字孿生、具身智能體自動生成以及仿真遙操作。這些策略使得框架能夠生成豐富多樣的專家軌跡數(shù)據(jù)，增強模型在真實環(huán)境中的泛化能力。同時，數(shù)據(jù)生成引擎還支持環(huán)境光照、物體材質(zhì)、物理屬性域的隨機化，以及多種操作軌跡增強方式，進一步提升了數(shù)據(jù)的多樣性和魯棒性。
智元機器人此次開源的仿真數(shù)據(jù)集AgiBot Digital World Dataset涵蓋了家居、商超、辦公、餐飲和工業(yè)五大場景，其中家居場景最為豐富，占比36%；商超占比21%；其余場景各占14.3%。數(shù)據(jù)集包含超過180種具體物品，涵蓋9大品類和9種主要材質(zhì)，同時還囊括了12種核心技能，如抓、放、插、倒等。這些數(shù)據(jù)具有高質(zhì)量、快速泛化、任務(wù)多樣和應(yīng)用靈活等特點，為端到端模型的可靠訓(xùn)練提供了堅實基礎(chǔ)。
據(jù)了解，AgiBot Digital World框架后續(xù)還將進一步擴展，適配更多的機器人本體和執(zhí)行器，并融合更多模態(tài)，包括深度噪聲傳感器仿真、觸覺傳感仿真等。智元機器人的這一開源行動無疑為各類場景應(yīng)用提供了堅實的開發(fā)基礎(chǔ)和廣泛的應(yīng)用可能性，有望極大地加速具身智能技術(shù)的開發(fā)和應(yīng)用進程。
