Metaverse 元宇宙概念、真人偶像塌房等一系列熱點(diǎn)爆發(fā)，讓虛擬偶像再次進(jìn)入大眾視野。虛擬偶像不僅是元宇宙概念最具體驗(yàn)感和最接近沉浸式虛擬世界的人物，同時(shí)作為全民偶像，還能做到“顏值不倒”、“人設(shè)不塌”，深受00后人群追捧。這期【捕光之旅】聊聊實(shí)時(shí)音視頻技術(shù)如何助力虛擬偶像養(yǎng)成。
去年8月，在上海Vapollo Theater，國(guó)內(nèi)首場(chǎng)虛擬偶像神樂七奈實(shí)時(shí)跨國(guó)演唱會(huì)成功落地，現(xiàn)場(chǎng)上座率超95%。神樂七奈全息投影在現(xiàn)場(chǎng)現(xiàn)身，不管是畫面還是聲音都以自然的姿態(tài)與現(xiàn)場(chǎng)觀眾進(jìn)行實(shí)時(shí)互動(dòng)。
這次演出現(xiàn)場(chǎng)的火爆，不僅讓人感受到虛擬偶像的受歡迎程度，更讓人看到虛擬偶像實(shí)時(shí)渲染技術(shù)的突破和跨進(jìn)。支持這場(chǎng)演出的技術(shù)公司正是創(chuàng)幻科技，其背后虛擬偶像演出音頻的實(shí)時(shí)遠(yuǎn)程傳輸技術(shù)則是由聲網(wǎng)提供，并給予了高質(zhì)量、高可靠、低延時(shí)的解決方案。
技術(shù)變革推動(dòng)虛擬偶像爆發(fā)
近年來，這種虛擬偶像的演出待遇和受追捧程度早已不亞于真人偶像。所謂虛擬偶像，是指通過繪畫、音樂、動(dòng)畫、CG等形式制作，在網(wǎng)絡(luò)等虛擬場(chǎng)景或現(xiàn)實(shí)場(chǎng)景進(jìn)行演藝活動(dòng)的人物形象。
全息投影塑造了它們?cè)谖枧_(tái)上的動(dòng)作和外形，聲音來自合成軟件，舞臺(tái)上是齊刷刷一片的應(yīng)援燈海和粉絲吶喊。今年春晚，國(guó)內(nèi)最具影響力的虛擬偶像洛天依登上央視舞臺(tái)，在11億觀眾的見證下突破次元壁，走進(jìn)了主流視野，讓虛擬偶像表演更加受到關(guān)注和追捧，成為新經(jīng)濟(jì)中炙手可熱的風(fēng)口。
虛擬偶像的快速發(fā)展和熱捧，除外界因素影響之外，更核心的是技術(shù)的進(jìn)步和推動(dòng)。在演變上，最初的虛擬偶像大多是以語音合成軟件支撐的“紙片人”，后來演變?yōu)榭蓪?shí)時(shí)互動(dòng)的3D形象，再到現(xiàn)在，虛擬偶像的應(yīng)用場(chǎng)景已經(jīng)從從離線、完成時(shí)，走向在線、進(jìn)行時(shí)，可以在舞臺(tái)上實(shí)時(shí)進(jìn)行唱跳表演，有望打破二次元和三次元的界限。
在本質(zhì)上，虛擬偶像是類似于影視動(dòng)畫和游戲里的各種虛擬 IP 形象。不同的是，得益于 VR 虛擬現(xiàn)實(shí)、AR 增強(qiáng)現(xiàn)實(shí)、計(jì)算機(jī)圖形技術(shù)、AI 技術(shù)、實(shí)時(shí)渲染等應(yīng)用技術(shù)的不斷成熟，虛擬偶像融合了現(xiàn)實(shí)場(chǎng)景，讓 2D" 紙片人 "與真實(shí)世界產(chǎn)生了鏈接。同時(shí)，在具體的生產(chǎn)流程上，虛擬偶像至少都要經(jīng)過原畫、建模和動(dòng)作捕捉三個(gè)環(huán)節(jié)。
提到虛擬偶像，在國(guó)內(nèi)繞不開的就是B站，憑借現(xiàn)有的虛擬藝人 UP 主、所聚集的粉絲，以及粉絲圍繞虛擬藝人進(jìn)行創(chuàng)作和傳播的視頻內(nèi)容，顯然已成為國(guó)內(nèi)最大的虛擬偶像社區(qū)。B站每年的BML-VR演唱會(huì)，以及每月推出的虛擬主播演出活動(dòng)—冰火歌合戰(zhàn)3D，每期活動(dòng)超過10名嘉賓，直播觀眾人氣高達(dá)200萬。
而在這些虛擬偶像線上live的技術(shù)制作背后都有創(chuàng)幻科技的身影，創(chuàng)幻科技是國(guó)內(nèi)虛擬偶像全鏈路運(yùn)營(yíng)商，在B站冰火歌合戰(zhàn)3D、BML-VR演唱會(huì)以及線下Vapollo全息劇場(chǎng)演出中都有全程技術(shù)參與，從動(dòng)捕場(chǎng)地到內(nèi)容錄制及后期制作，再到演出中的實(shí)時(shí)互動(dòng)環(huán)節(jié)技術(shù)支持。
實(shí)時(shí)傳輸提升虛擬偶像互動(dòng)體驗(yàn)
以往，虛擬偶像表演的難點(diǎn)在于實(shí)時(shí)渲染的效果比不上離線渲染，使得超寫實(shí)虛擬數(shù)字人的行動(dòng)不夠逼真，現(xiàn)場(chǎng)互動(dòng)性也差。但在去年Vapollo全息劇場(chǎng)完成的神樂七奈中日跨國(guó)演唱會(huì)中，神樂七奈是在劇場(chǎng)進(jìn)行實(shí)時(shí)渲染，輸出畫面，全程毫秒級(jí)時(shí)延，讓現(xiàn)場(chǎng)觀眾在真正意義上實(shí)現(xiàn)了與虛擬偶像實(shí)時(shí)互動(dòng)。
一場(chǎng)虛擬偶像的演出，現(xiàn)場(chǎng)畫面和聲音同等重要。在畫面上，創(chuàng)幻采用了自研的數(shù)據(jù)結(jié)構(gòu)化技術(shù)，在保證動(dòng)作和表情精度不產(chǎn)生損失的同時(shí)，將數(shù)據(jù)壓縮到原來5%的大小，從而實(shí)現(xiàn)數(shù)據(jù)的實(shí)時(shí)遠(yuǎn)程傳輸。而聲音上，聲網(wǎng)助力了創(chuàng)幻在所支持的多場(chǎng)虛擬偶像演出中，都做到了現(xiàn)場(chǎng)聲音高品質(zhì)、低延時(shí)的傳輸。“創(chuàng)幻落地的虛擬偶像演出活動(dòng)中大都涉及到歌唱類的演出，所以對(duì)現(xiàn)場(chǎng)音頻的質(zhì)量要求很高，而聲網(wǎng)的音頻方案完美地解決了我們對(duì)聲音方面的高標(biāo)準(zhǔn)需求，在音頻數(shù)據(jù)傳輸抗網(wǎng)絡(luò)波動(dòng)能力、音質(zhì)還原度、效果穩(wěn)定性、方案經(jīng)濟(jì)性等多個(gè)維度的表現(xiàn)都十分出色，最終的演出呈現(xiàn)效果也給了我們很大的驚喜。”創(chuàng)幻科技CEO陳堅(jiān)表示。
在創(chuàng)幻舉辦的虛擬偶像神樂七奈跨國(guó)演唱中，音頻是從日本傳回國(guó)內(nèi)，傳輸過程中對(duì)穩(wěn)定性、流暢性有著很高的要求，一旦出現(xiàn)有延時(shí)就會(huì)造成現(xiàn)場(chǎng)觀眾體驗(yàn)感差，而聲網(wǎng)的音頻解決方案為虛擬偶像跨國(guó)演出場(chǎng)景提供了有力支撐，并具備了以下優(yōu)勢(shì)：
· 軟件定義實(shí)時(shí)網(wǎng)SD-RTN™保障跨國(guó)傳輸穩(wěn)定性
在虛擬偶像演出的場(chǎng)景中，會(huì)涉及到音頻的跨國(guó)傳輸，Vapollo 神樂七奈線下演出，是演員在東京動(dòng)捕棚進(jìn)行動(dòng)作表演，再將動(dòng)作數(shù)據(jù)傳輸?shù)絼?chuàng)幻的VT服務(wù)器進(jìn)行實(shí)時(shí)渲染，輸出畫面和聲音。
針對(duì)這種需要音頻跨國(guó)的傳輸，聲網(wǎng)Agora 自建的軟件定義實(shí)時(shí)網(wǎng)SD-RTN™覆蓋了 200+ 國(guó)家與地區(qū)，可做到全球端到端優(yōu)質(zhì)傳輸率>99%，全球端到端網(wǎng)絡(luò)延時(shí)小于400ms，延時(shí)中位數(shù)76ms，有效保障虛擬偶像演出聲音的超低延時(shí)體驗(yàn)。同時(shí)針對(duì)弱網(wǎng)情況下的音視頻互動(dòng)，聲網(wǎng)擁有一套抗弱網(wǎng)傳輸與抗丟包算法，結(jié)合網(wǎng)絡(luò)探測(cè)（如延時(shí)估計(jì)、帶寬估計(jì)、丟包估計(jì)等）、抗丟包技術(shù)（如ARQ、FEC等）、自適應(yīng)jitter buffer、網(wǎng)絡(luò)擁塞控制策略等技術(shù)，保障80%丟包下語音通話流暢，為演出現(xiàn)場(chǎng)觀眾提供更高品質(zhì)的實(shí)時(shí)音視頻通話服務(wù)。
· SOLO™、NOVA™ 兩大語音引擎提供卓越音質(zhì)
不僅如此，對(duì)于虛擬偶像演出現(xiàn)場(chǎng)傳輸?shù)囊糍|(zhì)問題，聲網(wǎng)也有自研的Agora SOLO™、NOVA™ 兩大語音引擎，支持 48kHz 采樣率的全頻帶采樣，還原聲音高保真度，音頻 MoS 分高達(dá) 4.7，可以提供高清流暢音質(zhì)體驗(yàn)。
在神樂七奈跨國(guó)演唱會(huì)中，是將遠(yuǎn)在東京動(dòng)捕棚的動(dòng)作及音頻數(shù)據(jù)實(shí)時(shí)傳送到國(guó)內(nèi)，同步在廣州及上海完成渲染，并推流到B站及日本的線上直播間。相當(dāng)于通過遠(yuǎn)程技術(shù)，進(jìn)行4路數(shù)據(jù)流推送，同時(shí)在4個(gè)地方完成實(shí)時(shí)演出，技術(shù)上有很大的挑戰(zhàn)。“但在聲音部分，我們與聲網(wǎng)團(tuán)隊(duì)持續(xù)溝通，在專業(yè)指導(dǎo)下對(duì)音頻數(shù)據(jù)傳輸方案進(jìn)行了優(yōu)化，最終通過創(chuàng)幻的數(shù)據(jù)結(jié)構(gòu)化技術(shù)加聲網(wǎng)音視頻傳輸方案完美落地了此次活動(dòng)。”陳堅(jiān)介紹。
在聲網(wǎng)的技術(shù)保障下，創(chuàng)幻已經(jīng)連續(xù)4年服務(wù)于國(guó)內(nèi)最大的二次元盛會(huì)-Bilibili的BML-VR演唱會(huì)及BW漫展，并持續(xù)制作、推出包含Bilibili冰火歌回（3D）在內(nèi)的線上Live。
虛擬偶像正成為下一代全民偶像
正因?yàn)閷?shí)時(shí)音視頻技術(shù)的進(jìn)步和升級(jí)，賦予了虛擬數(shù)字人真實(shí)的人物性格，擁有與觀眾和用戶互動(dòng)的情感，也讓在“真人偶像”人設(shè)不斷塌房的情況下受到網(wǎng)友喜愛，獨(dú)特的外形、完美的人設(shè)，經(jīng)過精心打造的虛擬偶像正逐漸走進(jìn)現(xiàn)實(shí)世界。
從頂流洛天依到品牌自身的虛擬人，再到社交媒體上的各類虛擬主播，虛擬偶像們塑造人設(shè)、分享日常生活，也拓展出品牌代言、明星同臺(tái)、直播、授權(quán)、線上線下演唱會(huì)、帶貨等方式，變現(xiàn)的想象空間巨大。相較于真人偶像的不確定性，虛擬偶像擁有顏值不倒、人設(shè)永遠(yuǎn)完美的優(yōu)點(diǎn)，也正因此，虛擬人物受到粉絲和資本的偏愛，正在成為下一代的全民偶像。
“另外，虛擬偶像技術(shù)的成熟，也將推動(dòng)元宇宙的快速發(fā)展，每個(gè)人都可以在虛擬世界有一個(gè)自己的avatar，而實(shí)時(shí)音視頻技術(shù)的低延時(shí)、穩(wěn)定性可以打破虛擬和現(xiàn)實(shí)的邊界，幫助用戶在虛擬世界中得到更好的體驗(yàn)，助力市場(chǎng)養(yǎng)成下一代全民偶像。”聲網(wǎng) IoT 產(chǎn)品負(fù)責(zé)人侯云憶表示。
