近日，2020年中國(guó)國(guó)際服務(wù)貿(mào)易交易會(huì)在北京落幕。與以往不同，今年的服貿(mào)會(huì)采取線上線下結(jié)合的方式舉辦，線上會(huì)議30場(chǎng)，線上線下相結(jié)合會(huì)議70場(chǎng)，線上直播活動(dòng)近百場(chǎng)，“云會(huì)議”、“云展覽”、“云洽談”成為本次服貿(mào)會(huì)的重要特色。
服貿(mào)會(huì)上，每一場(chǎng)實(shí)時(shí)互動(dòng)的云上會(huì)議和商務(wù)洽談，其實(shí)都是一次低延遲直播活動(dòng)。為了降低用戶側(cè)在通訊中的延遲，使其盡量“不可感知”，各路廠商均加大投入以優(yōu)化延遲，因?yàn)檫@是低延遲直播場(chǎng)景中的首要核心性能指標(biāo)。
為適配低延遲場(chǎng)景關(guān)于延遲和畫質(zhì)的核心需求，金山云依托深耕多年的視頻編碼引擎—KSC265，并以諸多定制算法為基礎(chǔ)，構(gòu)建了一條適用于低延遲編碼的路徑，使得編碼延遲在該場(chǎng)景下大為降低的同時(shí)，幾乎不影響畫質(zhì)。整體而言，得益于持續(xù)的快速算法創(chuàng)新，金山云低延遲直播在編碼引擎層面上，相較于開源編碼器x264/x265的zerolatency檔位基線水平的加速比達(dá)到了2倍以上，而BD-rate損失只有不到1%。
自制編碼塊評(píng)價(jià)標(biāo)準(zhǔn)提速編碼過(guò)程
目前，視頻編碼都是基于塊進(jìn)行的，將一幀視頻劃分為不同的塊，然后對(duì)每個(gè)塊再分別進(jìn)行編碼處理。當(dāng)下，幾乎所有的視頻編碼器都會(huì)在塊劃分和運(yùn)動(dòng)估計(jì)環(huán)節(jié)上消耗主要計(jì)算時(shí)間。因此，如何提高這兩者的計(jì)算效率成為低延遲直播場(chǎng)景下首要考慮的問(wèn)題。
低延遲直播場(chǎng)景下，視頻畫面相對(duì)穩(wěn)定且變化并不豐富，不同編碼塊的編碼參數(shù)之間在時(shí)空上具有非常高的相關(guān)性。利用這一特性，金山云在塊劃分環(huán)節(jié)上對(duì)深度決策及模式?jīng)Q策設(shè)置快速終止條件，并設(shè)計(jì)了一種評(píng)價(jià)標(biāo)準(zhǔn)衡量編碼塊的時(shí)空復(fù)雜度，以此為基準(zhǔn)進(jìn)行快速劃分模式?jīng)Q策，在滿足一定條件下即可終止搜索，大大減少了模式搜索計(jì)算量。利用這項(xiàng)技術(shù)，金山云將塊劃分編碼過(guò)程加速了5倍。
兩步運(yùn)動(dòng)估計(jì)流程大幅降低編碼器計(jì)算量
基于塊的運(yùn)動(dòng)估計(jì)，其基本思想是將圖像序列的每一幀分成許多不重疊的塊，并認(rèn)為宏塊內(nèi)所有像素的位移量都相同，然后對(duì)每個(gè)宏塊到參考幀某一給定搜索范圍內(nèi)根據(jù)一定的匹配準(zhǔn)則找出與當(dāng)前塊最相似的塊，即匹配塊，匹配塊與當(dāng)前塊的相對(duì)位移即為運(yùn)動(dòng)矢量。運(yùn)動(dòng)估計(jì)的目的在于消除視頻信息在時(shí)間上的冗余，降低視頻傳輸?shù)谋忍財(cái)?shù)。
如上所述，由于低延遲直播場(chǎng)景在時(shí)間維度上的變化并不豐富，即存在大量冗余，因而不需要過(guò)于繁雜的搜索即可得到精準(zhǔn)的運(yùn)動(dòng)估計(jì)匹配。金山云視頻云團(tuán)隊(duì)利用這一特性設(shè)計(jì)了兩步運(yùn)動(dòng)估計(jì)流程，即粗粒度估計(jì)和細(xì)粒度估計(jì)。在粗粒度估計(jì)過(guò)程中，基于上述塊劃分結(jié)果進(jìn)行快速匹配，從而能夠在初期過(guò)濾掉絕大部分的候選匹配塊。在細(xì)粒度估計(jì)中，金山云視頻云團(tuán)隊(duì)采用了多項(xiàng)獨(dú)創(chuàng)的編碼工具，從平移估計(jì)、運(yùn)動(dòng)分析、紋理分析這三個(gè)維度來(lái)進(jìn)行組合決策，從而達(dá)到匹配塊精選的目的。這種由粗到細(xì)的級(jí)聯(lián)運(yùn)動(dòng)估計(jì)流程可以極大程度降低編碼器的計(jì)算量，從實(shí)際測(cè)試結(jié)果看來(lái)，其在低延遲直播場(chǎng)景中的加速比能達(dá)到3倍以上。
得益于在音視頻、AI、大數(shù)據(jù)等方面的技術(shù)能力，金山云低延遲直播技術(shù)大大提升了直播互動(dòng)體驗(yàn)，目前已在電商、游戲、教育等場(chǎng)景中使用。隨著5G、云計(jì)算、AI、VR等技術(shù)的發(fā)展，直播將迎來(lái)更大的想象空間，而金山云低延遲直播編碼技術(shù)也將持續(xù)升級(jí)，為用戶帶來(lái)更高品質(zhì)的低延遲直播體驗(yàn)。
