在機(jī)器人技術(shù)領(lǐng)域的最新進(jìn)展中，智元機(jī)器人公司近期推出了其自主研發(fā)的大型仿真框架——AgiBot Digital World。這一創(chuàng)新成果旨在為機(jī)器人操作提供一套全面的仿真解決方案，包括靈活的仿真數(shù)據(jù)生成、大規(guī)模的預(yù)訓(xùn)練數(shù)據(jù)以及統(tǒng)一的模型評(píng)測(cè)標(biāo)準(zhǔn)。與此同時(shí)，智元機(jī)器人還慷慨地開(kāi)源了海量的仿真數(shù)據(jù)集，為業(yè)界研究與應(yīng)用提供了寶貴的資源。
AgiBot Digital World專(zhuān)為機(jī)器人操作技能的研究與應(yīng)用設(shè)計(jì)，集成了豐富多樣的三維資產(chǎn)、高效的專(zhuān)家軌跡生成機(jī)制以及全面的模型評(píng)估工具。通過(guò)高精度的模擬訓(xùn)練場(chǎng)景，該框架能夠生成逼真的機(jī)器人操作數(shù)據(jù)，為機(jī)器人的具身仿真服務(wù)提供了強(qiáng)有力的支持。無(wú)論是模擬復(fù)雜的機(jī)器人操作任務(wù)，還是還原真實(shí)的訓(xùn)練場(chǎng)景，AgiBot Digital World都展現(xiàn)出了出色的性能。
AgiBot Digital World的三維資產(chǎn)庫(kù)是其核心優(yōu)勢(shì)之一。這個(gè)資產(chǎn)庫(kù)包含了海量的物體、場(chǎng)景和機(jī)器人模型，這些資產(chǎn)均通過(guò)精細(xì)的人工建模、三維重建技術(shù)以及生成式人工智能（AIGC）轉(zhuǎn)化而來(lái)。無(wú)論是復(fù)雜的家居環(huán)境，還是多變的工業(yè)場(chǎng)景，AgiBot Digital World都能提供高度逼真的模擬訓(xùn)練環(huán)境，滿(mǎn)足各種機(jī)器人操作任務(wù)的仿真需求。
在仿真技術(shù)方面，AgiBot Digital World基于NVIDIA Isaac-Sim仿真平臺(tái)，提供了高度逼真的視覺(jué)渲染和精確的物理模擬。仿真情景與真實(shí)世界之間的域差異被大幅縮小，感知和交互的細(xì)節(jié)也得以真實(shí)還原。例如，當(dāng)光線(xiàn)透過(guò)玻璃窗投射在物體上時(shí)，產(chǎn)生的光影效果非常自然；當(dāng)機(jī)器人與物體發(fā)生接觸時(shí)，物理效應(yīng)也得到了準(zhǔn)確的模擬。
AgiBot Digital World還引入了多模態(tài)大模型，支持基于資產(chǎn)庫(kù)自動(dòng)生成操作任務(wù)，以及根據(jù)指定任務(wù)自動(dòng)生成操作場(chǎng)景和物體布局。這一功能使得仿真任務(wù)的創(chuàng)建變得更加靈活多樣，可以根據(jù)實(shí)際訓(xùn)練需求調(diào)整任務(wù)的復(fù)雜度和環(huán)境布局，從而實(shí)現(xiàn)數(shù)據(jù)閉環(huán)。例如，在書(shū)房場(chǎng)景中，如果機(jī)器人需要從桌面任務(wù)轉(zhuǎn)向書(shū)架上的立面操作，系統(tǒng)可以一鍵生成取書(shū)任務(wù)，并自動(dòng)捕捉到環(huán)境中的書(shū)架。
在數(shù)據(jù)生成方面，AgiBot Digital World提供了多元化的專(zhuān)家軌跡生成策略。這些策略包括真機(jī)操作數(shù)字孿生、具身智能體自動(dòng)生成以及仿真遙操作等。通過(guò)這些策略，AgiBot Digital World能夠生成具有多樣性和魯棒性的專(zhuān)家軌跡數(shù)據(jù)，增強(qiáng)模型在真實(shí)環(huán)境中的泛化能力。同時(shí)，數(shù)據(jù)生成引擎還支持多模態(tài)數(shù)據(jù)的采集，包括多視角RGB-D圖像、觸覺(jué)信息、機(jī)器人狀態(tài)信息等，為策略學(xué)習(xí)提供了豐富的數(shù)據(jù)支持。
智元機(jī)器人此次開(kāi)源的仿真數(shù)據(jù)集涵蓋了家居、商超、辦公、餐飲和工業(yè)五大場(chǎng)景，其中家居場(chǎng)景最為豐富，占比達(dá)到36%。數(shù)據(jù)集包含了超過(guò)180種具體物品，涵蓋了9大品類(lèi)和9種主要材質(zhì)。數(shù)據(jù)集還包含了12種核心技能，如抓、放、插、倒等，能夠靈活應(yīng)對(duì)各種任務(wù)。這些數(shù)據(jù)集具有高質(zhì)量、高泛化性、任務(wù)多樣性和應(yīng)用靈活性等特點(diǎn)，為機(jī)器人技術(shù)的研究與應(yīng)用提供了堅(jiān)實(shí)的基礎(chǔ)。
