“幀彩視界”是微幀科技以高清視覺體驗為核心打造的一款視頻AI智能化產(chǎn)品。利用機器學(xué)習(xí)技術(shù)，在畫質(zhì)增強、HDR、超高清處理等方向，打造了一系列解決方案。“幀彩視界”可應(yīng)用于超高清視頻內(nèi)容從生產(chǎn)-加工-觀看的全鏈條過程，為用戶提供卓越的觀感體驗。
本文將向大家分享在“幀彩視界”核心技術(shù)之一Pseudo HDR的背后，微幀是如何提高畫質(zhì)的。
HDR，這個概念在近幾年被炒的非常火熱，從2015年開始，HDR作為一種顯示標(biāo)準(zhǔn)，在電視行業(yè)開始迅速蔓延，并逐漸在中高端手機、平板電腦等移動終端上應(yīng)用。
不是所有設(shè)備都支持HDR視頻解碼和顯示，因此，對于普通SDR設(shè)備用戶而言，要想獲得類似HDR的視覺效果，Pseudo HDR這項技術(shù)變得尤為重要。
大家所熟知的幾大TOP視頻平臺中的VIP尊享畫質(zhì)，便采用了類似技術(shù)。此類尊享畫質(zhì)視頻能夠呈現(xiàn)出令人驚艷的亮度、對比度和色彩，無論是高光還是黑暗處的細(xì)節(jié)都一覽無余，給人栩栩如生的感覺。
01、微幀Pseudo HDR
微幀Pseudo HDR技術(shù)的主要目的是，為那些不支持HDR播放的SDR設(shè)備，提供接近HDR效果的視覺體驗。（下圖：左為源視頻截圖；右為微幀Pseudo HDR處理后的視頻截圖）
隨著視頻拍攝/播放設(shè)備的不斷更新迭代，以及社交媒體平臺的極大普及，人們對追求更高清畫質(zhì)視頻的欲望日益強烈，各媒體平臺為了提升用戶體驗質(zhì)量（QoE）也是大費周章，除了通過高效編解碼等技術(shù)來保障畫質(zhì)清晰度及播放流暢度以外，畫面色彩的增強也成了重點關(guān)注的對象。
其中一項通過增強畫質(zhì)來提高QoE的方法是，在將視頻送入編碼器/轉(zhuǎn)碼器以進(jìn)一步分發(fā)之前，實行Pseudo HDR預(yù)處理，它能夠讓輸入的視頻保持相同的比特深度（比如8 bit），旨在優(yōu)化視頻中超暗或者超亮區(qū)域的細(xì)節(jié)，以生產(chǎn)更具視覺沖擊力的內(nèi)容，最終呈現(xiàn)在用戶端，而無需特殊渲染工具，例如支持HDR的設(shè)備。
Pseudo HDR技術(shù)背后的算法主要是基于限制對比度自適應(yīng)直方圖均衡（CL-AHE），對一個視頻幀中的不同區(qū)域推導(dǎo)出不同的直方圖均衡化轉(zhuǎn)換函數(shù)，以增強那些更亮和更暗區(qū)域的對比度，有了對比度的限制，可以防止噪音被放大。
現(xiàn)有的CL-AHE方法主要研究并應(yīng)用于靜止圖像，而微幀的目標(biāo)是開發(fā)一種適用于視頻的Pseudo HDR技術(shù)，以增強視頻用戶體驗質(zhì)量。
目前，微幀采用了CL-AHE作為視頻轉(zhuǎn)碼前預(yù)處理的一部分，既充分利用轉(zhuǎn)碼服務(wù)端豐富的計算資源，又無需依賴最終渲染設(shè)備，達(dá)到用戶一致的視頻增強效果。
02、Pseudo HDR的潛在挑戰(zhàn)
對視頻進(jìn)行Pseudo HDR預(yù)處理的潛在挑戰(zhàn)如下：
（1）超亮或超暗區(qū)域呈現(xiàn)的噪聲，如壓縮偽影噪聲，很容易被AHE轉(zhuǎn)換放大，從而影響視覺效果。
（2）保持視頻的時間一致性是非常關(guān)鍵的，因為視頻不是簡單的靜態(tài)圖像，如果在對比度增強的像素變換中不考慮時域特征，跨幀閃爍等偽影，尤其是黑暗區(qū)域中的偽影就會變得非常明顯，從而降低整體視覺體驗。對視頻來說，時域的平滑度和流動性甚至比空間域的每幀視覺質(zhì)量更為重要。
（3）轉(zhuǎn)換后的視頻可能會大很多，比如，源視頻黑暗區(qū)域的邊緣和精細(xì)紋理可以在原始SDR內(nèi)容中被壓縮，視頻質(zhì)量不會降低太多。但經(jīng)過Pseudo HDR處理后，會暴露出更多更精細(xì)的紋理，因此需要分配更多的bits才能獲得足夠好的視覺體驗。
03、微幀Pseudo HDR的技術(shù)優(yōu)勢
Pseudo HDR始終是微幀致力推動的一個創(chuàng)新方向，為了解決上述問題，讓視頻用戶享受最佳的視覺體驗，微幀實施了以下方法：
（1）對于對比度變換后，超亮區(qū)域可能產(chǎn)生的更亮畫面結(jié)果，微幀開發(fā)了基于亮度級別的自適應(yīng)方法來抑制這種現(xiàn)象，同時保持其他區(qū)域的正常轉(zhuǎn)換。
（2）AHE經(jīng)常導(dǎo)致皮膚區(qū)域的顏色失真，針對此現(xiàn)象，微幀研發(fā)了幾種方式進(jìn)行抑制，如快速人臉檢測、皮膚檢測和基于顏色的區(qū)域分割，從而促使Pseudo HDR將皮膚區(qū)域與其他區(qū)域區(qū)分開，并應(yīng)用特定的對比度變換來保持準(zhǔn)確的膚色。
（3）相鄰幀間對比度變換后，更精細(xì)的紋理會被過度放大，因變換不一致導(dǎo)致的閃爍或閃爍偽影，在超暗區(qū)域中出現(xiàn)的頻率會更高。微幀針對這些區(qū)域進(jìn)行了精細(xì)化檢測，并應(yīng)用自適應(yīng)聯(lián)合空間和時間濾波來約束時域中的差異，提高了變換后相鄰幀之間的一致性。
（4）應(yīng)用Pseudo HDR處理，很可能會導(dǎo)致碼率增加20%以上。除了更精細(xì)的紋理會被過度放大，還可能會出現(xiàn)條帶偽影，源視頻的現(xiàn)有壓縮偽影也可能會被夸大，這些都會讓編碼效率大打折扣。微幀在ROI檢測、去噪和去色帶（debanding）等方法的應(yīng)用下，不僅能改善Pseudo HDR處理后的視覺偽影，還可以衰減視頻中的高頻分量，從而大大降低碼率。
（5）Pseudo HDR處理過程可能會增大計算復(fù)雜度、造成更多的延遲，因此，微幀在Pseudo HDR處理中開發(fā)了一系列的方法，以服務(wù)不同的用戶場景，其中每個預(yù)設(shè)對應(yīng)了一組算法參數(shù)，便于生成計算復(fù)雜度(延遲)、視覺質(zhì)量和碼率等多種聯(lián)合性能。當(dāng)然，Pseudo HDR的預(yù)處理模塊也可以與編碼器相融合，結(jié)合微幀的編碼優(yōu)勢，可以讓視頻畫質(zhì)更好，碼率更低。
不可否認(rèn)的是，視頻播放設(shè)備的迭代速度非常之快，但要實現(xiàn)HDR全民化的愿景，依然還有很長的路要走。因此，Pseudo HDR仍然是目前非常值得關(guān)注與推崇的一項技術(shù)。微幀科技將繼續(xù)專注于超高清解決方案“幀彩視界”的探索與研發(fā)，不斷增強處理效率，不斷擴大可享用超高清視頻的用戶覆蓋面，讓更多用戶獲得更真實更極致的視覺體驗！
