7 月 22 日，2022 GIAC 全球互聯網架構大會在深圳隆重召開。GIAC 是中國地區規模最大的技術會議之一，專門面向架構師、技術負責人及高端技術從業人員等人群。作為互聯網技術的年度盛會，大會匯聚了 100 多位來自一線互聯網企業的資深技術專家，圍繞元宇宙、人工智能、Web3 等熱門技術話題展開分享，為所有參會者帶來了一場技術升級與收獲之旅。
網易云信音視頻架構師饒世鋮受邀出席了本次大會，并帶來了主題為《新一代音視頻架構在元宇宙場景的實踐》的分享，全面介紹了元宇宙場景對音視頻架構帶來的挑戰以及網易云信新一代音視頻架構的破局之策和實踐落地。
掘金「元宇宙」，網易的技術儲備
作為元宇宙主題專場的首位分享嘉賓，饒世鋮首先介紹了元宇宙的發展歷程。“元宇宙”這一概念最早誕生于 1992 年美國科幻作家尼爾·斯蒂芬森的作品《雪崩》，書中以天馬行空的想象力構建了一個現實世界與虛擬空間并存的系統；2018 年《頭號玩家》的上映使大眾對元宇宙產生了具象化的認識；到了 2020 年，Roblox 成功上市徹底將元宇宙引爆出圈，帶動了全球科技大廠紛紛入局，基于自身的先發技術優勢掘金元宇宙產業。
如此宏大的元宇宙世界，需要哪些底層技術支撐？饒世鋮總結，元宇宙的實現需要區塊鏈、物聯網、網絡及運算、人工智能、電子游戲、交互設計六大技術支撐。而網易自 2011 年起，就開展了 AR、VR、虛擬人、超低延時音視頻、區塊鏈、云游戲等元宇宙相關技術儲備和規劃，是國內最早涉足元宇宙領域的科技公司之一。
在基礎設施層，網易擁有了以 WE-CAN 全球智能路由網絡、AI 計算平臺、AR/VR、區塊鏈、智能硬件等為代表的核心技術。基于這些核心技術，沉淀出了網易智企、網易伏羲、網易星球、易現先進科技等服務平臺，并在平臺之上形成了一系列可靠的元宇宙解決方案，在游戲、社交、電商、金融、教育、醫療等各個領域進行了最佳實踐。
「元宇宙」對傳統音視頻架構的兩大挑戰
“元宇宙強調沉浸感、高還原的交互體驗，同時場景更綜合、復雜度更高，這對傳統的音視頻架構提出了挑戰。”饒世鋮表示。
首先，簡單的視頻通話、語音聊天以及實時互動等交互方式已經遠遠無法滿足元宇宙場景需求，超低延時的音視頻、業務數據傳輸、人臉數據的實時提取、表情和動作遷移、實時語音 3D 音效等關鍵技術成為元宇宙的重要組成元素。驅動關鍵技術的創新優化，突破原有音視頻相關技術的邊界，為用戶提供極致的沉浸式體驗成為了音視頻架構面臨的強有力挑戰。
其次，元宇宙中的音視頻業務復雜多樣。很多業務同時具有 RTC、超低延時數據傳輸、低延時直播拉流等需求，不同需求的 SDK 需要獨立集成，接入方式也不盡相同，造成了接入難度大、效率低的難題。如何設計一種好的 SDK 架構，在提供高可用和高穩定功能的同時，通過技術組合的方式將所有業務融合在一起，為用戶提供整體的一站式解決方案？這是對音視頻架構的第二大挑戰。
破局之策，網易云信音視頻架構的優化與實踐
饒世鋮介紹，面對上述的兩大挑戰，網易云信構建了新一代音視頻引擎 NERtcEngine 和新一代音視頻融合 SDK NERtcSDK。
新一代音視頻引擎：NERtcEngine
NERtcEngine 基于元宇宙實際業務場景專門設計和實現了超低延時數據傳輸的數據引擎，同時面對元宇宙越來越多的智能算法和 AI 算法，專門對算法集成方式進行了重構，設計和實現了基礎算法組件引擎。
在超低延時數據傳輸架構的設計上，網易云信設計了獨立的數據傳輸通道，在保證原有音視頻數據傳輸通道穩定高效的同時，為其單獨制定傳輸協議、發送/接收控制單元和 QoS 調節策略。此外，網易云信還擁有大規模分布式實時傳輸網 WE-CAN，是業內首個獨立于業務邏輯的傳輸層基座，并在全球數百個主要國家和地區進行節點部署，符合各個地區的數據安全政策，全面覆蓋 IM 消息、實時音視頻、直播、點播、白板等產品場景。雙管齊下，確保了超低延時的數據傳輸。
在算法組件引擎架構設計上，網易云信將所有算法集成于統一的接口，集成方式非常友好。同時支持插件化集成，每個算法可作為獨立單元以插件化方式，靈活實現算法的定制化集成，且擴展性更強，后續新增算法只需實現對應的集成 API 就可快速便捷地集成到框架中。
新一代音視頻業務融合 SDK ：NERtcSDK
NERtcSDK 是網易云信新一代音視頻業務融合 SDK。在元宇宙業務場景中，更廣范圍、更深程度的融合能為用戶帶來更大價值。
以往的業務中，不同需求必須接入不同的 SDK 才能實現對應功能。而在 NERtcSDK 的融合架構設計中，用戶只需對接 1 個 SDK 就可同時實現 RTC、虛擬人、低延時直播、超低延時數據傳輸等業務，這對 3D 虛擬人社交、虛擬實時展會等這類復雜的集成場景來說，極大地提高了用戶接入的速度和效率，大幅降低了接入成本。
饒世鋮還為大家介紹了網易云信融合 SDK 中一個代表性的融合方案——高接通方案的設計，通過應用保活、融合呼叫、通話輔助的“三板斧”，覆蓋呼叫場景中的絕大部分被叫到達的場景，增加呼叫到達率，從而保證應用的接通率。
加速助推「元宇宙」的技術落地
“所有的技術積累都需要在真實的場景落地，才能看到價值。”在介紹了網易云信在元宇宙的技術布局后，饒世鋮展示了網易推動元宇宙“由虛入實”的幾大案例。
饒世鋮認為，元宇宙應用不僅僅是將現實世界搬進虛擬世界，也不只是從線下轉移到線上，而是在助力生產效率提升、社會民生改善等方面具有真實價值，并推動相關產業加速發展。
遙感機械助力傳統產業數字化轉型，在網絡環境較差、惡劣的戶外作業環境也能通過手機遠程操控挖掘機進行生產工作而不必深入現場，不僅降低了勞動強度，也從根本上杜絕了人身傷亡的安全隱患，幫助生產效率的提升。
AI 虛擬客服越來越常見于金融智能虛擬客服、互聯網醫療遠程問診、新聞虛擬主播、社交娛樂虛擬偶像、電商虛擬直播等場景。相比于市場上常見的虛擬人方案，網易云信提供了一站式的 SDK，用戶僅需對接一個 SDK 即可同時擁有虛擬人、RTC、直播等多項能力。同時，首創客戶端和云端雙渲染技術，以滿足不同客戶和場景的實際需求。
網易瑤臺是國內首個元宇宙落地產品，區別于傳統視頻會議的單一呈現方式，瑤臺更具虛擬的沉浸感，也更能滿足現實世界的切實需求。網易曾將全球投資者大會的舉辦地搬到了瑤臺虛擬世界，來自全球多個國家的 200 多位投資者，通過自己的虛擬形象，交流網易業務的最新動態。整個互動場景便是基于網易云信的 WE-CAN 全球智能路由網絡和融合通信能力打造。
除了在元宇宙主題專場的干貨分享，網易云信在全球互聯網架構大會設置了專門的展位，吸引了大量的現場觀眾咨詢討論。
