進(jìn)攻手段豐富、擅長(zhǎng)快速防守反擊，還能迅速找出“漏洞”，打?qū)κ忠粋€(gè)措手不及……一場(chǎng)頂尖AI足球賽的激烈程度，不僅堪比真人專業(yè)足球競(jìng)賽，更是一場(chǎng)AI領(lǐng)域的“硬科技”較量。
近期，游戲領(lǐng)域頂級(jí)會(huì)議IEEE游戲大會(huì) (CoG)足球AI競(jìng)賽公布最終結(jié)果，網(wǎng)易互娛AI LAB足球隊(duì)不僅包攬5v5和11v11雙賽道冠軍，更在11v11賽道中，以高出267分的優(yōu)勢(shì)取得斷崖式領(lǐng)先，戰(zhàn)勝了包括清華大學(xué)、字節(jié)跳動(dòng)、BiliBili、中國(guó)科學(xué)院自動(dòng)化研究所、南京大學(xué)、中國(guó)科技大學(xué)等多支人工智能研究領(lǐng)域的頂尖高校及企業(yè)隊(duì)伍。據(jù)悉，這是網(wǎng)易互娛AI Lab繼去年滿分奪冠IEEE游戲大會(huì)的格斗游戲AI競(jìng)賽后，再次獲該大會(huì)游戲AI類競(jìng)賽的冠軍，展現(xiàn)出其在游戲AI方面的技術(shù)硬實(shí)力。
拿下頂級(jí)AI足球賽雙料冠軍，領(lǐng)先第二名267分
2022 IEEE游戲大會(huì)由IEEE主辦，中國(guó)科學(xué)院自動(dòng)化研究所承辦，是該會(huì)議首次在中國(guó)舉行。作為游戲領(lǐng)域人工智能的國(guó)際頂會(huì)，IEEE 游戲大會(huì)每年舉行不同的競(jìng)賽，吸引全球游戲領(lǐng)域?qū)W術(shù)界和工業(yè)界的研究與開(kāi)發(fā)人員參賽，以同臺(tái)競(jìng)技、互相切磋的方式，探討游戲AI技術(shù)的最新進(jìn)展與未來(lái)發(fā)展方向。
長(zhǎng)期以來(lái)，教AI學(xué)會(huì)踢球、踢出好球，是全球頂尖AI團(tuán)隊(duì)一直攻堅(jiān)的科研難題。足球比賽，以其策略的復(fù)雜性、多樣性和高難度著稱。AI球員不僅要掌握傳球、防守等復(fù)雜概念，還要能在場(chǎng)上根據(jù)對(duì)手的反應(yīng)靈活應(yīng)變，突破防守，拿下分?jǐn)?shù)。
本屆IEEE 游戲大會(huì)舉辦的足球 AI 競(jìng)賽，由5v5和 11v11兩個(gè)賽道組成。其中，5v5 賽道需要訓(xùn)練除了守門員之外的4 名隊(duì)員的模型，而 11v11 賽道則需要訓(xùn)練包含守門員在內(nèi)的全部 11 名隊(duì)員。由于兩個(gè)賽道均屬于多智能體訓(xùn)練任務(wù)，訓(xùn)練AI球員的難度大幅增加，同時(shí)也增加了比賽的技術(shù)含金量。
比賽最終結(jié)果顯示， 網(wǎng)易互娛AI Lab以1292.28分和1491.48分的成績(jī)分別包攬了5v5和11v11兩個(gè)賽道的冠軍，特別是在11v11賽道中，以高于第二名清華大學(xué)267分的優(yōu)勢(shì)取得了斷崖式領(lǐng)先。
（圖：網(wǎng)易互娛AI LAB獲IEEE游戲大會(huì)足球AI競(jìng)賽雙料冠軍）
獨(dú)創(chuàng)自研AI訓(xùn)練框架造就“雙料冠軍”，已應(yīng)用于多款游戲
本次比賽中，網(wǎng)易互娛AI Lab采用了獨(dú)創(chuàng)的自研AI訓(xùn)練框架。該框架基于強(qiáng)化學(xué)習(xí)和多樣性模型池，具有高強(qiáng)度、泛化性強(qiáng)和策略豐富的特點(diǎn)。相較其他模型，該AI框架訓(xùn)練出來(lái)的AI球員，不僅能夠持續(xù)穩(wěn)定提升自身“技能”，還可以避免強(qiáng)化學(xué)習(xí)領(lǐng)域經(jīng)典的“非傳遞性”問(wèn)題。這意味著，AI球員身上的弱點(diǎn)，更難被對(duì)手發(fā)現(xiàn)。
（圖：11v11比賽畫面）
此外，該模型的策略豐富度，也顯著超出此前其他已知的所有模型。例如，模型表現(xiàn)出豐富的進(jìn)攻方式，除了經(jīng)典的全隊(duì)進(jìn)攻、邊路進(jìn)攻、中路進(jìn)攻和快速防守反擊外，還掌握了利用游戲引擎的特點(diǎn)形成的特定進(jìn)攻戰(zhàn)術(shù)，因此能夠擊敗各類具有不同策略的對(duì)手。
（圖：訓(xùn)練框架）
目前，網(wǎng)易互娛AI LAB的這套自研AI訓(xùn)練框架，已實(shí)際服務(wù)多款游戲，應(yīng)用于冷啟動(dòng)匹配、補(bǔ)位、陪玩等多元場(chǎng)景，大幅提升玩家體驗(yàn)。例如，當(dāng)玩家匹配到AI對(duì)戰(zhàn)時(shí)，可以根據(jù)玩家不同的段位，派出不同難度的AI，讓玩家擁有與真人對(duì)打的暢快體驗(yàn)。此外，AI訓(xùn)練框架還將訓(xùn)練難度更強(qiáng)、更具挑戰(zhàn)性的游戲AI，為進(jìn)一步探索通用型人工智能奠定基礎(chǔ)。
未來(lái)，網(wǎng)易互娛AI Lab將繼續(xù)深耕游戲AI研究領(lǐng)域，不斷突破AI落地難題，為全球用戶創(chuàng)造全新的互動(dòng)娛樂(lè)體驗(yàn)。
