在機(jī)器人技術(shù)的前沿探索中，一款名為AgiBot Digital World的大型仿真框架近日由智元機(jī)器人公司隆重推出。該框架專為機(jī)器人操作技能的研究與應(yīng)用量身打造，旨在通過靈活的仿真數(shù)據(jù)生成方案、大規(guī)模預(yù)訓(xùn)練數(shù)據(jù)及統(tǒng)一的模型評測標(biāo)準(zhǔn)，為機(jī)器人操作技能的進(jìn)步提供強(qiáng)有力的支持。
AgiBot Digital World集成了海量的三維資產(chǎn)，這些資產(chǎn)不僅種類繁多，而且細(xì)節(jié)精致，能夠滿足各種復(fù)雜機(jī)器人操作任務(wù)的仿真需求。從逼真的物體模型到多樣化的場景設(shè)置，再到精細(xì)的機(jī)器人模型，這些資產(chǎn)共同構(gòu)建了一個高度真實(shí)的仿真世界。該框架還提供了多樣化的專家軌跡生成機(jī)制和全面的模型評估工具，進(jìn)一步提升了仿真效果。
AgiBot Digital World在視覺渲染和物理模擬方面均達(dá)到了高度逼真的水平。基于NVIDIA Isaac-Sim仿真平臺，它能夠呈現(xiàn)出光影自然、細(xì)節(jié)真實(shí)的仿真情景，使得仿真與真實(shí)世界之間的域差異大大減小。同時，該框架還能模擬出真實(shí)世界的物理效應(yīng)，如物體間的碰撞、晃動等，進(jìn)一步增強(qiáng)了仿真的真實(shí)感。
除了逼真的仿真效果外，AgiBot Digital World還引入了多模態(tài)大模型，支持基于資產(chǎn)庫自動生成操作任務(wù)和場景布局。這一功能使得用戶可以根據(jù)實(shí)際訓(xùn)練需求，靈活創(chuàng)建多樣化、復(fù)雜度可調(diào)的仿真任務(wù)與仿真環(huán)境，從而實(shí)現(xiàn)了數(shù)據(jù)的閉環(huán)。例如，在書房場景中，如果機(jī)器人需要從桌面任務(wù)轉(zhuǎn)向書架上的立面操作，系統(tǒng)可以一鍵生成取書任務(wù)，并自動捕捉到環(huán)境中的書架。
在數(shù)據(jù)生成方面，AgiBot Digital World提供了多元化專家軌跡生成策略。這些策略包括真機(jī)操作數(shù)字孿生、具身智能體自動生成以及仿真遙操作等。通過這些策略，該框架能夠生成具有多樣性和魯棒性的專家軌跡數(shù)據(jù)，從而增強(qiáng)模型在真實(shí)環(huán)境中的泛化能力。同時，數(shù)據(jù)生成引擎還支持多模態(tài)數(shù)據(jù)的生成，包括多視角RGB-D圖像、觸覺信息、機(jī)器人狀態(tài)信息等，為策略學(xué)習(xí)提供了豐富的數(shù)據(jù)支持。
此次，智元機(jī)器人還開源了海量規(guī)模的仿真數(shù)據(jù)集AgiBot Digital World Dataset。該數(shù)據(jù)集涵蓋了家居、商超、辦公、餐飲和工業(yè)等五大場景，包含了超過180種具體物品和9種主要材質(zhì)。數(shù)據(jù)集還囊括了12種核心技能，如抓、放、插、倒等，能夠靈活應(yīng)對各種任務(wù)。這些高質(zhì)量的仿真數(shù)據(jù)為機(jī)器人操作技能的訓(xùn)練提供了堅實(shí)的基礎(chǔ)，并有望降低行業(yè)研發(fā)門檻，加速具身智能的開發(fā)和應(yīng)用。
