逼搶兇狠、擅長中場突破、短傳行云流水，幾乎毫無破綻……
去年12月，谷歌聯(lián)手英超曼城在Kaggle平臺上，舉辦了首屆“AI足球世界杯”，吸引了1138個團隊角逐比拼。其中，網(wǎng)易伏羲強化學(xué)習團隊表現(xiàn)出色，斬獲亞軍；其接近專業(yè)教練的AI戰(zhàn)術(shù)布局能力，讓主辦方看到了“AI+足球”的巨大潛力。
近日，網(wǎng)易伏羲受邀與英超曼城俱樂部、谷歌、Kaggle等行業(yè)高管深入交流，分享了比賽中采用的技術(shù)框架和訓(xùn)練方法，共同探討了AI技術(shù)在足球領(lǐng)域的應(yīng)用方向。
（網(wǎng)易伏羲強化學(xué)習團隊（藍隊）在決賽中率先破門得分）
（本次比賽競爭激烈，吸引全球1138個團隊參賽）
據(jù)了解，本次比賽在 Google Research Football 強化學(xué)習環(huán)境下進行，參賽團隊可以在11個智能體中控制1個單獨智能體。比賽涉及大量復(fù)雜的團隊協(xié)作和戰(zhàn)術(shù)變化；同時，也考驗各個團隊解決強化學(xué)習中幾大極具挑戰(zhàn)性問題的能力，例如長時決策（Long Time Horizon）、稀疏獎勵（Sparse Reward）、多智能體（Multi-Agent）等。
溝通會上，主辦方認為，網(wǎng)易伏羲AI采用的戰(zhàn)術(shù)已經(jīng)“非常接近”專業(yè)教練的打法，具備在虛擬環(huán)境中，模擬真實足球比賽戰(zhàn)術(shù)的能力。同時，網(wǎng)易伏羲的“AI球員”還踢出了自己的風格：中場快速突破，短傳配合進攻，最終進球得分。
（網(wǎng)易伏羲的短傳組合）
網(wǎng)易伏羲AI“定位球”的專業(yè)打法，也讓主辦方印象深刻。曼城俱樂部母公司、城市足球集團數(shù)據(jù)洞察和決策技術(shù)總監(jiān)Brian Prestidge坦言，網(wǎng)易伏羲AI所采用的“定位球”策略，與現(xiàn)實比賽中專業(yè)教練的“定位球”戰(zhàn)術(shù)非常相似。
AI如同真人專業(yè)球隊，不僅儲備了擅長的“定位球”打法，還能根據(jù)場上的變化，靈活調(diào)整后續(xù)戰(zhàn)術(shù)配合。例如，發(fā)邊線球時，AI則會根據(jù)場上態(tài)勢判斷，自主選擇保守或激進的打法。
據(jù)網(wǎng)易伏羲方面介紹，強化學(xué)習團隊在本次比賽采用多頭向量輸入模型，主要通過玩家對戰(zhàn)環(huán)境（PVE）與自博弈（Self-Play）相結(jié)合的訓(xùn)練方式，讓AI從0到1學(xué)會踢球。賽程中，團隊通過Surgery、模仿學(xué)習、課程學(xué)習等方式，幫助AI不斷擴充狀態(tài)特征和動作，學(xué)會對手的打法并予以反制，以及嘗試不同的初始站位來豐富開局變化。
此外，網(wǎng)易伏羲還采用了自主研發(fā)的RLEase強化學(xué)習框架訓(xùn)練AI。該框架集成了主流強化學(xué)習算法，簡化了環(huán)境接入流程，大幅降低強化學(xué)習的門檻。該框架還提供了標準接口，添加新算法時，只需要完成標準接口的實現(xiàn)即可，無需人工重復(fù)開發(fā)分布式等相關(guān)功能，這也使得游戲中試驗新算法變得更容易。
（網(wǎng)易伏羲自主研發(fā)的RLEase強化學(xué)習框架）
“足球賽場極其復(fù)雜，球員要面對很多挑戰(zhàn)，但更困難的是從中學(xué)習規(guī)律。人們一般通過失敗來學(xué)習成長，但球場卻很難容忍失敗。”Brian Prestidge對“AI足球世界杯”寄予厚望，他認為，谷歌創(chuàng)造的虛擬環(huán)境是一個絕佳的試驗場所，球隊可以在其中測試戰(zhàn)術(shù)概念、完善訓(xùn)練方法，讓教練更有信心地開展自己的職業(yè)生涯。
（曼城母公司高管對“AI足球世界杯”寄予厚望）
未來，隨著技術(shù)發(fā)展，AI有望更加深刻地改變足球行業(yè)。例如，AI可以輔助訓(xùn)練球員、提升戰(zhàn)績；為教練出謀劃策、提供戰(zhàn)術(shù)支持；甚至還能幫助管理層更好地經(jīng)營球隊。
綠茵賽場外，網(wǎng)易伏羲在本次比賽中使用的強化學(xué)習技術(shù)，也已在多款網(wǎng)易自研游戲中應(yīng)用落地。例如，《逆水寒》流派競武場景中，玩家可以挑戰(zhàn)比自己高排名的玩家，如果被挑戰(zhàn)者不在線，AI就能代替玩家出戰(zhàn)。借助強化學(xué)習技術(shù)，AI不僅能打出高水平，還能“自我調(diào)節(jié)”難度，用變化多端的打法，讓玩家體驗與“真人高手”對抗一般的樂趣。
（《逆水寒》流派競武場景）
在《潮人籃球》3V3場景中，AI不僅學(xué)會了傳球、投籃等基礎(chǔ)動作，還學(xué)會了擋拆、協(xié)防、突破等眾多高級配合打法。
（《潮人籃球》3V3場景）
網(wǎng)易伏羲成立于2017年，是國內(nèi)專業(yè)從事游戲、文娛產(chǎn)業(yè)AI研究和應(yīng)用的頂尖機構(gòu)，研究方向包括強化學(xué)習、圖像動畫、自然語言、虛擬人、用戶畫像、大數(shù)據(jù)平臺、云計算平臺、云游戲等領(lǐng)域。在為網(wǎng)易眾多產(chǎn)品提供高質(zhì)量和前沿AI技術(shù)的同時，網(wǎng)易伏羲正在進一步把AI技術(shù)和產(chǎn)品開放給更多合作伙伴，推動行業(yè)加速發(fā)展。
