在軟硬件技術空間發展的背景下,人們對于互聯網玩法的暢想逐步由創造虛擬空間向現實世界與虛擬空間融合邁進。
甚至在剛剛過去的 10 月,Facebook 創始人馬克·扎克伯格將“臉書”改名為“ Meta ”,這使得“元宇宙”在整個科技圈、投資圈內風頭一時無兩。
說到“元宇宙”,按照目前的發展形態來看,它是一種現實空間復制與再造的過程,即人們在互聯網上再造一個具備高沉浸感、體驗感、互動感的虛擬世界,甚至人們可以基于各個互聯網大廠創造的虛擬世界重新塑造自己的人生。
當然,如果說真的要實現這樣的終極目標,其實還需要很長的路要走,不過新冠疫情的爆發無疑為“元宇宙”的商業化用例提供了更多的市場化需求。
比如我們常見的會議場景,新冠疫情之前的會議多以線下會議為主,在線下時,參會者可以隨時選擇與其他人進行 1 對 1 、 1 對多甚至多對多的實時交流,甚至在會議中可以臨時預約一個“小型會議包間”結識摯友,而這樣具備極強場景感的體驗在傳統視頻會議中卻無法獲得。
目前主流的傳統視頻會議在呈現方式上較為單一,缺乏空間場景,從而使得用戶層在會議過程中現場感缺失,容易出現精神疲勞、注意力不集中等問題。
專注應用體驗,打造沉浸式會議“新世界”
為了解決這一難題,網易伏羲率先發布了一款沉浸式會議活動系統——“瑤臺”,以方便疫情期間人們在線上舉辦各類會議活動。
(“瑤臺”官網登錄界面)
“瑤臺”本身是創造了一個全新的古風沉浸式虛擬會議世界,在“瑤臺”中,活動方可以按照自己實際需求在場景中設置多種風格的活動場地,高精度復刻真實的會議場景。
同時,為了增強會議的互動性和體驗感,“瑤臺”不僅同步實現了 PPT 嵌入式播放、文字和語音聊天、同聲翻譯、多個分會場自由切換等數十項會議功能,而且為了滿足了會議社交需求,無需加群,虛擬人見面就能開啟群聊。
(虛擬人走近,開啟“群聊模式”)
考慮到虛擬會議世界更加貼近現實會議場景,會議主辦方可以在“瑤臺”中自由選擇活動場地內展板數量、布局與內容;活動場地座位數量與布局;場地加載廣告;大屏幕、展板宣傳廣告;活動場地冠名等,同時“瑤臺”還支持后臺自主管理會議和會議數據分析等功
(為 DAI 2020量身打造服裝。圖片來源:網易)
值得一提的是,為了增加用戶體驗的真實性和參與感,參會者可以通過上傳個性化照片打造專屬的個人虛擬形象。
依托于網易伏羲行業首創的 AI 智能捏臉技術,平臺會對肖像照片和人臉特征進行精準還原,并通過肖像網絡分析人臉特征,重建人臉三維信息,結合風格化網絡學習數據,生成特定風格的容顏,如發型、膚色、五官。
與此同時,虛擬人的表情、動作會實時隨著真實表情、動作的改變而改變,讓所有參會者仿佛置身于現實會議中,直觀感受對方的喜怒哀樂。
(專屬虛擬形象與真人驅動虛擬人示例)
目前,“瑤臺”已經可以應用到國際學術會議、簽約儀式、線上展會、招聘會、新產品發布會、品牌推介會、公司年會、頒獎儀式、圓桌會議、校園宣講會等眾多場景,并且最多可以同時容納 500 人同時在主會場參會。
此外,考慮到參會者參與此類活動的頻率,最大化提升參會者體驗,“瑤臺”選擇了最簡單的方式,即通過瀏覽器登錄平臺,輸入參會碼就可以進入會議場景,免去了下載客戶端、注冊賬號等一系列繁瑣流程。
深耕底層技術,打造“瑤臺”極致互動體驗
作為集網易 24 年 IM 以及音視頻技術打造的融合通信云服務專家,網易云信提供融合通信與音視頻的核心能力與組件。在與網易伏羲的合作中,“瑤臺”就深度融合了網易云信音視頻、屏幕共享等能力。
“瑤臺”作為一款沉浸式會議系統,在為用戶提供高沉浸感、高互動性的會議活動體驗的同時,也需要做好用戶方體驗的視聽與活動方的分享質量。
1.自研 AI 算法,保障用戶享受高質量視聽體驗
網易云信自研的 AI 音視頻引擎,支持單、雙聲道,音頻采樣率 16 kHz - 48 kHz,碼率最高支持 128 kbps 立體聲高清音質;視頻通話中,支持 1080P 高清畫質。同時為了避免通話中可能存在的噪音問題,網易云信通過自研的音頻 3A 算法處理和 AI 音頻降噪算法,幫助用戶消除通話中的回聲和嘯叫,并對嘈雜人聲、鍵盤聲等非穩態噪聲進行定向降噪,從而保障“瑤臺”用戶享受純凈的通話與互動體驗。
(參會者就墻板內容進行實時互動交流)
另外,網易云信音視頻技術支持用戶在“瑤臺”中同時加入到多房間,實現同時訂閱到多個會議房間的音視頻流,同時也可以將本地的音頻流、視頻流推送到某一個會議房間中,且支持會議場景內近距離 16 人暢聊。
考慮到用戶分享與互動中可能存在的網絡延遲問題,網易云信依托領先的精準帶寬偵測、智能擁塞控制、前向糾錯、編碼優化等技術,實測抗丟包率達 80% ,從而保證“瑤臺”用戶即使在復雜的網絡環境下仍能享受高穩定、低延時的視聽體驗。
2.高可用網絡,全面保障瑤臺全球互動
當前,“瑤臺”在應用場景上已經涉及到多類國際性學術大會,這就需要保證在長距離、高復雜網絡條件下,各種數據實時傳輸質量。網易云信發布的首個獨立于業務邏輯的傳輸層基座——全球智能路由網絡 WE-CAN ,完美支持媒體流、 IM 消息、信令以及通用數據傳輸,為“瑤臺” 99.9% 的通話提供無卡頓音視頻服務。
( WE-CAN 全球智能路由網絡分層圖)
目前, WE-CAN 已在印度、中東、歐洲、北美、北非等全球 200+主要地區實現節點部署。廣泛節點覆蓋、完善運營機制、靈活調度策略以及智能路由策略,這 4 大特點賦予 WE-CAN “傳送門”一般的屬性,不論用戶身處何處,只要數據進入系統,就能快速到達目的地。
3.實時共享,打造簡單易用的分享環境
網易云信通過為“瑤臺”提供簡單易用的 NERTC SDK ,通過簡單集成后,演講嘉賓在會議中只需要將自己的屏幕內容如文件、數據、網頁、PPT 等畫面以屏幕共享的方式分享給參會聽眾,從而讓其他與會者更加直觀的了解討論的內容和主題,提升溝通效率。
(實時會議分享)
此外,考慮到接入成本問題,網易云信通過 Unity SDK 封裝技術,幫助“瑤臺”節省接入成本。
隨著虛擬現實技術與音視頻通話技術的逐步普及,高需求、多場景、低門檻的應用將推動“瑤臺”的加速爆發,很多“ AI +會議”的玩法創新也在持續進化中。
下一步,“瑤臺”將進一步開發如虛擬社群、虛擬接待、 VR 虛擬現實等功能,而網易云信也將持續拓展服務邊界,為會議元宇宙、游戲元宇宙、社交元宇宙、教育元宇宙等場景持續提供穩定、移動、可靠的融合通信云服務。