在機(jī)器人技術(shù)的前沿探索中，一款名為AgiBot Digital World的大型仿真框架橫空出世，由智元機(jī)器人公司自主研發(fā)并正式發(fā)布。該框架旨在為機(jī)器人操作提供一個(gè)全面而靈活的仿真環(huán)境，不僅包含了高效的仿真數(shù)據(jù)生成方案，還預(yù)置了大規(guī)模仿真數(shù)據(jù)，并確立了統(tǒng)一的模型評(píng)測(cè)標(biāo)準(zhǔn)。同時(shí)，智元機(jī)器人還慷慨地開(kāi)源了海量的仿真數(shù)據(jù)集，為行業(yè)內(nèi)外的研究與應(yīng)用提供了寶貴資源。
AgiBot Digital World精心設(shè)計(jì)，專為機(jī)器人操作技能的研究與應(yīng)用而生。它集成了種類繁多的逼真三維資產(chǎn)，涵蓋了多樣化的場(chǎng)景、物體和機(jī)器人模型。這些資產(chǎn)通過(guò)精細(xì)的人工建模、先進(jìn)的三維重建技術(shù)以及前沿的生成式人工智能技術(shù)轉(zhuǎn)化而來(lái)，能夠滿足各類復(fù)雜機(jī)器人操作任務(wù)的仿真需求。通過(guò)這些資產(chǎn)，AgiBot Digital World能夠高保真地模擬各種訓(xùn)練場(chǎng)景，為機(jī)器人提供近乎真實(shí)的操作體驗(yàn)。
AgiBot Digital World基于NVIDIA Isaac-Sim仿真平臺(tái)構(gòu)建，提供了高度逼真的視覺(jué)渲染和精確的物理模擬。仿真情景與真實(shí)世界之間的域差異被大幅縮小，無(wú)論是光影效果還是物理交互，都呈現(xiàn)出極高的真實(shí)感。例如，當(dāng)光線透過(guò)玻璃窗投射在物體上，或機(jī)器人動(dòng)作引發(fā)的倒影變化，都顯得自然而生動(dòng)。
AgiBot Digital World引入了多模態(tài)大模型，支持基于資產(chǎn)庫(kù)自動(dòng)生成操作任務(wù)，以及根據(jù)指定任務(wù)自動(dòng)生成操作場(chǎng)景和物體布局。這一功能極大地提升了仿真任務(wù)的多樣性和靈活性，能夠根據(jù)實(shí)際需求創(chuàng)建復(fù)雜度可調(diào)的仿真環(huán)境與任務(wù)，實(shí)現(xiàn)數(shù)據(jù)閉環(huán)。例如，在書(shū)房場(chǎng)景中，若機(jī)器人需要從桌面操作轉(zhuǎn)向書(shū)架上的立面操作，只需一鍵召喚取書(shū)任務(wù)，系統(tǒng)即可自動(dòng)捕捉到環(huán)境中的書(shū)架并生成相應(yīng)的仿真場(chǎng)景。
在數(shù)據(jù)生成方面，AgiBot Digital World提供了多元化專家軌跡生成策略。這包括真機(jī)操作數(shù)字孿生、具身智能體自動(dòng)生成以及仿真遙操作等多種方式。通過(guò)這些策略，系統(tǒng)能夠生成豐富多樣的專家軌跡數(shù)據(jù)，用于增強(qiáng)模型的泛化能力。同時(shí)，數(shù)據(jù)生成引擎還支持環(huán)境光照、物體材質(zhì)、物理屬性域的隨機(jī)化，以及多種操作軌跡增強(qiáng)方式，進(jìn)一步提升了數(shù)據(jù)的多樣性和魯棒性。
此次智元機(jī)器人開(kāi)源的仿真數(shù)據(jù)集AgiBot Digital World Dataset涵蓋了家居、商超、辦公、餐飲和工業(yè)五大場(chǎng)景，共包含超過(guò)180種具體物品、9種主要材質(zhì)以及12種核心技能。這些數(shù)據(jù)具有高質(zhì)量、高泛化性、任務(wù)多樣性以及應(yīng)用靈活性等特點(diǎn)，為端到端模型的訓(xùn)練提供了可靠保障。通過(guò)這些數(shù)據(jù)，研究人員和開(kāi)發(fā)者能夠更快速地實(shí)現(xiàn)光照、干擾物、平面位置、高度、背景和物體類別的泛化，提升模型在各種環(huán)境下的表現(xiàn)。
AgiBot Digital World的發(fā)布與數(shù)據(jù)開(kāi)源，無(wú)疑為具身智能技術(shù)的開(kāi)發(fā)與應(yīng)用注入了新的活力。這些資源不僅為研究人員提供了堅(jiān)實(shí)的開(kāi)發(fā)基礎(chǔ)，也為行業(yè)內(nèi)外的應(yīng)用提供了廣泛的應(yīng)用可能性。隨著AgiBot Digital World的進(jìn)一步擴(kuò)展與融合更多模態(tài)，我們有理由相信，具身智能技術(shù)的開(kāi)發(fā)與應(yīng)用將迎來(lái)更加蓬勃的發(fā)展。
