近日，2022 MSU 世界視頻編碼器大賽正式放榜，網(wǎng)易云信首次參賽就獲得驕人成績，自研的結(jié)合智碼超清技術(shù)的 NE265E 編碼器以公開身份參賽，在 H.265 賽道下獲得多項指標(biāo)第一名。
首次參賽，斬獲 3 項指標(biāo)第一
MSU 世界視頻編碼器大賽（MSU Video Codecs Comparison）是由莫斯科國立大學(xué)主辦的國際大賽，迄今已連續(xù)舉辦 17 屆，被稱為視頻編碼壓縮領(lǐng)域最具權(quán)威和影響力的全球頂級賽事。
而在 FullHD 比賽更是高手如云，幾乎涵蓋了國內(nèi)外眾多音視頻領(lǐng)域的行家里手。參賽的各種視頻編碼器被要求在一定速度、碼率等規(guī)則下，通過多種客觀質(zhì)量指標(biāo)和主觀質(zhì)量指標(biāo)層層評估編碼質(zhì)量，并給出最終比賽結(jié)果。
此次大賽，網(wǎng)易云信 NE265 編碼器首次參賽，以公開編碼器身份在 H.265 賽道的 15 個指標(biāo)中獲得 3 項指標(biāo)第一，8 項指標(biāo)第二。
其中在 Y-VMAF(v0.6.1/v0.6.2/v0.6.3) 的客觀指標(biāo)上，網(wǎng)易云信智碼超清 NE265E 編碼器在 1fps/5fps/30fps 所有速度檔位下，成績均勝過其他大廠的參賽編碼器，獲得了 H.265 賽道的第一名。在其他客觀質(zhì)量 YUV-SSIM, YUV-MS-SSIM, YUV-PSNR 等指標(biāo)上，在 5fps/30fps 速度檔位下，網(wǎng)易云信 NE265 編碼器獲得 H.265 賽道的第二名。
高規(guī)格國際頂級賽事，眾多大廠同臺競技，網(wǎng)易云信能以公開的編碼器參賽并獲得細分賽道多項指標(biāo)第一，足見這項基于 NE265E 編碼器的智碼超清技術(shù)領(lǐng)先性已獲得了業(yè)界權(quán)威認可。
網(wǎng)易云信智碼超清 NE265E 編碼器在 1fps/5fps/30fps 所有速度檔位下均獲得了賽道第一名
這么牛的技術(shù)能用來干啥？
可能有人會問，這項技術(shù)聽起來好像很牛，但是那些指標(biāo)咱們吃瓜群眾也看不懂，和日常生活有什么關(guān)系？
還真有。隨著視頻成為許多內(nèi)容的媒介載體，人們對視頻畫質(zhì)要求也越來越高，從 1080P、2K 到 4K，甚至 8K。不過觀看體驗要好，分辨率尺寸就得越來越大，若是不經(jīng)過視頻編碼器壓縮，網(wǎng)絡(luò)帶寬流量成本也會水漲船高。
高分辨率帶來更優(yōu)畫質(zhì)體驗，但帶寬成本也會水漲船高
網(wǎng)易云信智碼超清技術(shù)解決的就是這個問題，能在相同碼率情況下提供用戶更高畫質(zhì)的視頻體驗。
如此一來，對流媒體平臺而言，視頻的存儲、分發(fā)、傳播成本都能得到顯著降低；對用戶而言，咱們刷在線視頻、看 4K 電影、直播追劇等都能看個過癮，不必擔(dān)心流量告急。
“榜一大哥”具體是怎么煉成的？
那么，這項與人們?nèi)粘Ｉ罹o密相關(guān)的智碼超清技術(shù)，其轉(zhuǎn)碼的關(guān)鍵技術(shù)點在哪呢？網(wǎng)易云信是怎么做的？
總結(jié)來說，智碼超清轉(zhuǎn)碼的關(guān)鍵技術(shù)點分為了視頻前處理、視頻編碼、視頻后處理三個部分。
首先是視頻前處理，包含了內(nèi)容分析與畫質(zhì)提升兩個方面。內(nèi)容分析的第一步是通過場景識別區(qū)分出不同場景，如：游戲、動作片、動漫、視頻會議等，根據(jù)場景選擇不同的前處理策略和編碼工具，做到場景自適應(yīng)；其次是進行基于深度學(xué)習(xí)的 ROI 區(qū)域檢測，將檢測后的 ROI 區(qū)域傳給前處理模塊和編碼模塊，進而對 ROI 區(qū)域畫質(zhì)進行增強修復(fù)。
畫質(zhì)提升則是通過視頻增強、色彩增強、視頻降噪三方面入手，前兩者著重通過對原始視頻的增強提升主觀畫質(zhì)，而視頻降噪是在噪聲評估之后進行降噪處理，提升主觀畫質(zhì)的同時，還能對視頻編碼的壓縮率帶來幫助。
其次是視頻編碼。智能編碼方面包括了感知編碼、ROI 編碼，以及精準(zhǔn)的幀級和行級碼控；編碼內(nèi)核方面，通過自研的 NE264、NE265，以及支持私有協(xié)議的 NEVC 完成。
在視頻后處理方面，主要通過視頻超分、視頻增強技術(shù)等完成畫質(zhì)提升。視頻超分是指通過網(wǎng)易云信 AI 超分算法，將低分辨率圖像生成高分辨率圖像。網(wǎng)易云信提出了基于編碼損失復(fù)原的視頻超分技術(shù)，采用數(shù)據(jù)驅(qū)動和網(wǎng)絡(luò)設(shè)計并重的策略，通過數(shù)據(jù)處理模擬真實失真場景，并且從模型設(shè)計到工程化實現(xiàn)進行層層優(yōu)化，在模型實時性和真實場景超分效果方面取得了不錯的效果。
節(jié)省帶寬成本超過 60%
值得一提的是，這并非網(wǎng)易云信音視頻實驗室第一次在世界的舞臺上閃耀。
在 2022 年，計算機視覺領(lǐng)域最高級別的會議 CVPR（CVPR NTIRE 2022 EfficientSuper-Resolution Challenge）上，網(wǎng)易云信音視頻實驗室的 AI 超分技術(shù)同樣摘得了綜合性能賽道的世界第一。
坐而論道，不如起而行之，技術(shù)積累需在真實場景落地才能體現(xiàn)價值。在網(wǎng)易集團內(nèi)部，網(wǎng)易云信智碼超清技術(shù)已在網(wǎng)易傳媒、網(wǎng)易云音樂、網(wǎng)易元氣等業(yè)務(wù)中全量上線。
以網(wǎng)易傳媒為例，從去年統(tǒng)計的結(jié)果看，每日 40 萬分鐘視頻轉(zhuǎn)碼的帶寬由每天 80G 下降到每天低于32G，節(jié)省帶寬成本超過 60%。
未來，網(wǎng)易云信也將繼續(xù)保持前沿技術(shù)探索，為業(yè)界提供更低成本、更低延時、更高畫質(zhì)的視頻編碼壓縮方案。
