隨著疫情的常態(tài)化,當(dāng)物理層面上的隔離成為必須,我們總要通過(guò)其他途徑滿足人類剛需——社交。怎樣才能讓人們超越物理的距離,實(shí)現(xiàn)最“真實(shí)”的見(jiàn)面?語(yǔ)聊房、互動(dòng)播客、一起X.....線上的片刻相聚,又仿佛蜻蜓點(diǎn)水般的相遇,始終缺少面對(duì)面促膝長(zhǎng)談的暢快、老友間耳語(yǔ)交流的私密。對(duì)于初次在線上相遇的兩個(gè)陌生人而言,又如何拉近在線上的“距離”?
注冊(cè)登錄、取個(gè)名字、生成自己的虛擬形象,選擇任一房間進(jìn)入,接下來(lái)你便可以與眾多用戶體驗(yàn)低延時(shí)、穩(wěn)定、流暢的“元宇宙社交”了。多種虛擬場(chǎng)景隨你選,360°空間音頻讓無(wú)數(shù)屏幕后的“社牛”和“社恐”們,體驗(yàn)到雖遠(yuǎn)隔萬(wàn)里,仍可“促膝”而談的沉浸感。而這背后用到的便是聲網(wǎng)“MetaChat元語(yǔ)聊”解決方案。
虛擬形象激發(fā)社交潛能,“社恐”變“社牛”
傳統(tǒng)語(yǔ)聊房只聞其聲,不見(jiàn)其“人”,缺少沉浸感。而聲網(wǎng)MetaChat元語(yǔ)聊解決方案提供了一種全新的語(yǔ)聊方式——用戶以虛擬形象參與到暢聊中。目前已支持自定義捏臉、服飾、發(fā)型搭配等功能,為用戶打造獨(dú)一無(wú)二的Avatar。此外,用戶的虛擬形象風(fēng)格可按需定制,滿足開發(fā)者對(duì)于擬真、卡通等在內(nèi)的各種業(yè)務(wù)場(chǎng)景需求。虛擬形象是“社牛”和“社恐”都能接受的社交方式,具體來(lái)說(shuō)虛擬形象的構(gòu)建會(huì)使得以往缺失在溝通環(huán)節(jié)中的“身體”重新“在場(chǎng)”,會(huì)使得用戶的非語(yǔ)言符號(hào)、動(dòng)作等得以具現(xiàn),這喚醒了具身傳播,激發(fā)了用戶的社交潛能,也讓那些喜歡線上交友但卻“社恐”的用戶多了些許心理慰藉和神秘感。
百變?cè)煨秃头棧瑒?chuàng)造專屬Avatar
多種虛擬場(chǎng)景渲染沉浸式社交氛圍
聲網(wǎng)MetaChat元語(yǔ)聊解決方案目前提供Party、咖啡廳、酒吧3種虛擬場(chǎng)景,未來(lái)將會(huì)拓展諸如會(huì)展、自習(xí)室、迪廳等在內(nèi)的多元化場(chǎng)景,開發(fā)者可根據(jù)業(yè)務(wù)玩法選擇合適的場(chǎng)景,也可按需定制。以上虛擬場(chǎng)景基于AR-3D引擎建模,可以實(shí)現(xiàn)多風(fēng)格建筑、物體等3D物體效果;雨水、火焰、煙霧等復(fù)雜粒子效果;以及碰撞、重力等物理效果;并支持卡通、反射、高光計(jì)算、多光源等復(fù)雜的材質(zhì)系統(tǒng)。逼真、沉浸式的虛擬場(chǎng)景避免了單一的語(yǔ)聊場(chǎng)景給用戶帶來(lái)的視覺(jué)疲勞,還能緩解用戶間沉悶、尷尬的初始溝通氣氛。
沉浸式虛擬場(chǎng)景,打造絕佳社交體驗(yàn)
目前,每個(gè)語(yǔ)聊房可以支持16位玩家,每位玩家都可以看到其他玩家的Avatar,且可以與任一玩家進(jìn)行動(dòng)作互動(dòng),還可以在任意空座位上就坐,在吧臺(tái)喝飲料、起舞等。
360°空間音頻,溝通近在“咫尺間”
要做到深度的社交沉浸感,一大難點(diǎn)是如何在虛擬社交場(chǎng)景中重現(xiàn)“空間的質(zhì)感”。空間、距離、尺寸等維度對(duì)于判斷一個(gè)環(huán)境是否真實(shí)至關(guān)重要,也是實(shí)現(xiàn)深度沉浸感的重要一環(huán)。聲網(wǎng)MetaChat元語(yǔ)聊解決方案支持360°空間音頻,可以為語(yǔ)聊房中的玩家?guī)?lái)身臨其境的聊天體驗(yàn)和更為沉浸的在場(chǎng)參與感,讓溝通更高效、更有趣。
所謂空間音頻,或許大家在很多場(chǎng)景中都有過(guò)體驗(yàn)。例如在“吃雞”一類的游戲中,我們戴上耳機(jī),可以利用聲音帶來(lái)的方位感判斷隊(duì)友當(dāng)下所處的位置;亦或是在虛擬會(huì)議場(chǎng)景中,大家雖然坐在不同的位置,但你能清楚的聽到每個(gè)人發(fā)出聲音的具體方位、甚至感知到聲音的遠(yuǎn)近強(qiáng)弱。
聲網(wǎng)360°空間音頻采用純軟件算法方案,能夠模擬頭部球面區(qū)域立體聲場(chǎng),因此不受硬件的限制,用戶使用普通耳機(jī)在手機(jī)或電腦上就能體驗(yàn)。當(dāng)用戶操作Avatar在虛擬場(chǎng)景里移動(dòng)時(shí),聽到的音效會(huì)根據(jù)Avatar的頭部及臉部朝向、聲源角度和距離不同而變化,完美模擬現(xiàn)實(shí)聽覺(jué)。具體在語(yǔ)聊房場(chǎng)景中:
玩家在進(jìn)入房間后會(huì)聽到房間內(nèi)正在播放的背景音樂(lè),例如在咖啡廳場(chǎng)景中會(huì)聽到輕音樂(lè),在酒吧會(huì)有駐場(chǎng)樂(lè)隊(duì)、DJ等不同效果。玩家走向房間的不同方位也會(huì)聽到不同的BGM效果,比如隨著腳步的走遠(yuǎn)BGM音量變小,聲音逐漸清晰或減弱等。除此之外,玩家還可以通過(guò)前后左右的位置操控,移動(dòng)到其他玩家身邊開啟暢聊。最讓人激動(dòng)的是,房間內(nèi)的BGM可以與玩家的音頻共存,這就意味著玩家既可以聽到房間內(nèi)的背景音樂(lè),又能聽到一定范圍內(nèi)其他玩家的聲音,再輔以玩家的虛擬形象,這就完美模擬了真實(shí)的互動(dòng)感。宛若眾人在現(xiàn)實(shí)中的酒吧聽著音樂(lè)、喝著酒,暢聊人生得與失,豈不快哉?
輪盤控制角色移動(dòng),感受360°空間音頻
未來(lái),聲網(wǎng)MetaChat元語(yǔ)聊解決方案還將支持語(yǔ)音驅(qū)動(dòng)嘴型和聲紋變聲兩大功能。
1.關(guān)于語(yǔ)音驅(qū)動(dòng)嘴型,聲網(wǎng)將提供以下兩種解決方案:
· 純音頻驅(qū)動(dòng)方案:無(wú)需面部表情捕捉,通過(guò)算法識(shí)別,將中英文(或其他語(yǔ)種)發(fā)音跟人像嘴型、面部表情智能關(guān)聯(lián),驅(qū)動(dòng)人像模擬真人說(shuō)話,支持2D人像圖片和3D人像模型
· 面部表情捕捉方案:需要調(diào)取表情捕捉設(shè)備(例如手機(jī)前置攝像頭),通過(guò)捕捉面部表情系數(shù),準(zhǔn)確識(shí)別眨眼、皺眉、張嘴、轉(zhuǎn)頭等動(dòng)作
2.聲網(wǎng)聲紋變聲支持在保持語(yǔ)義內(nèi)容不變的情況下,將一個(gè)人的語(yǔ)音轉(zhuǎn)成另一個(gè)人或另一種風(fēng)格,包括變聲和美聲兩大類:
· 變聲:包括聲音變換、風(fēng)格變換和情緒變換,常用于娛樂(lè)場(chǎng)景
· 美聲:將不流暢的表達(dá)轉(zhuǎn)化為流暢的表達(dá),將疲憊的聲音轉(zhuǎn)化為音色飽滿的演說(shuō),常用語(yǔ)演說(shuō)等商用場(chǎng)景
縱觀元宇宙爆火的當(dāng)下,我們不難發(fā)現(xiàn)科技巨頭所展望的“元宇宙社交”,其實(shí)已雛形初具:移動(dòng)互聯(lián)網(wǎng)的發(fā)展開啟了虛擬與現(xiàn)實(shí)的結(jié)合,而實(shí)時(shí)互動(dòng)正在將這種結(jié)合逐層滲透。或許在不久的將來(lái),我們將可能在虛擬的KTV中,與一眾Avatar揮舞熒光棒,合唱一首《難忘今宵》。
聲網(wǎng) MetaChat元語(yǔ)聊解決方案 iOS和Android 端Demo已上線,如果您想進(jìn)一步體驗(yàn)Demo,請(qǐng)移步聲網(wǎng)公眾號(hào)。