這是決定勝負的一球。
0秒出手,終場哨音破空而響,望著籃球滑向弧線的終點,突然他的身體在空中懸停,一個決定性的瞬間被無限拉長,分鏡切過一張張面孔,所有人的情緒都在空氣中凝固,渴望、焦灼都被定格……
這樣的場景,不是出自動畫《灌籃高手》,而是來自貴州大山里,一場鄉村籃球賽的直播。
2023年6月10日,貴州安順小寨村,“快手村BA”鄉村籃球賽現場,用于國際頂級賽事的前沿直播技術「子彈時間」首次應用到了鄉村體育賽事的直播中。
所謂「子彈時間」(Bullet time)是一種使用在電影、電視廣告或電腦游戲中的攝影技術模擬變速特效,可實現強化的慢鏡頭、時間靜止等效果。
在村BA直播中,快手技術人員針對關鍵球,快速產出“子彈時間”特效場景,伴隨黑科技,村BA登上熱搜,相關視頻播放量超過4.2億次,貴州山村里的籃球文化也被更多人看見。
生成一條村BA「子彈時間」 只要10秒
「子彈時間」技術最初被人知曉,要歸功于電影《黑客帝國》:當子彈雨點般射向主人公尼奧時,他以不可思議的速度后仰,時間仿佛瞬間,鏡頭圍繞子彈旋轉,觀眾甚至可以清晰地看到子彈劃過的空氣尾流。
此后,在大投資電影、3A游戲、頂級體育賽事中,我們都能見到類似的應用。北京冬奧會在冰壺和速滑賽事中也應用了這一特效,通過云上轉播可自動合成多角度的回放視頻,并向全球轉播方分發。
由于子彈時間生產流程的復雜性和所需計算數據量的龐大,之前行業的普遍生產時效性都在分鐘級。而本次快手在村BA所使用的「子彈時間」技術,較此前頂級賽事中的更為先進:平均一場村 BA 比賽直播,就有接近30條子彈時間特效,包含125個3D虛擬運鏡視點,基本覆蓋了所有的精彩進球。
以往,即使是應用行業內領先的Intel True View技術,3D重建都需要數分鐘。這就意味著,子彈時間回放只能應用于節間或者中場休息。
得益于快手自研的3D重建、虛擬運鏡和渲染技術,只要10秒,就可以完成整個重建和渲染過程,大大增加了子彈時間特效的應用頻率。
首先,借助3D重建技術,村BA直播中呈現了精彩的攻防回合。30部高速攝像機陣列部署,經過高精度3D重建,360度無死角定格超燃瞬間,無論是45度后仰起跳命中,還是中場突破,賽場中任意位置的精彩細節都能被靈活捕捉。
其次是可變焦點3D虛擬運鏡。高精度三維重建,提供了多視角下的空間信息,可支持后期靈活組織鏡頭、自定義拍攝軌跡。通過3D曲線變速運鏡,視覺沖擊力得以進一步增強,實現了絲滑流暢的「子彈時間」效果。
最后是先進的渲染技術。快手自研的六自由度壓縮算法與三維渲染引擎,通過三維重建與視點渲染,可還原4K及以上的高清渲染畫質。
“黑科技”進村
在實驗場景,變量可控、效果可預期,技術人員只需集中力量攻克技術問題。而真實場景復雜、多變,額外變量層出不窮,往往會面對各種意外挑戰。
大型賽事場館的直播即使反復彩排,也不能確保萬全無虞。而這一次,在西南大山里的貴州小寨村,露天籃球場現場,快手只有三天時間。
擺在他們面前的,首先是網絡和電力緊缺的問題。現場的5G和Wifi信號時斷時續,影響各類數據的實時通信,而體育賽事的轉播又有很強的時效性要求。初期進場調試,由于供電功率不足,現場服務器的運行也不穩定。
“無論如何,先跑起來再說。”快手技術人員先是協調了發電車,解決了基礎的供電穩定性問題。同時,通過技術上的極致優化,將一條村BA「子彈時間」回放視頻的生產時間壓縮到了10秒,有效保障了時效性和觀賞性。
然后是場地條件,受制于空間,相機設備只能直線排布。按照此前的技術方案,若想呈現出精彩的「子彈時間」,設備需要環繞一圈。
面對客觀環境的嚴峻挑戰,快手有備而來。技術人員通過自研可變焦點3D虛擬運鏡技術,避免了直線型搭建在呈現效果上的單調性,成功打造了多焦點3D虛擬運鏡「子彈時間」,比固定焦點的普通子彈時間有了重大升級。
最后是戶外直播的不可控性。除了室外的高溫、突如其來的降雨,還有長時間比賽帶來的光線變化:6點30分,太陽還很亮;8點左右天就全黑了。這些都對技術本身的穩定性和適應性提出了很高要求。
快手的技術方案經受住了考驗,陽光直曬和高溫下都能穩定運行。即使因下雨中斷,方案也可以敏捷地重新部署,無需再經過長時間的精細化調試,就能再度投入使用。在太陽光和場地燈光的差異化照明情況下,算法模型都能夠完成高精度的建模和渲染,連續不斷地支持比賽的正常轉播。
即使比賽期間相機前擠滿了觀眾,甚至無意觸碰到相機,導致相機位置發生改變,算法模型也能適應相機姿態在一定范圍內的變化,繼續生產高精度的3D模型。
多面的六自由度技術
在令人驚奇的子彈時間背后,是來自快手StreamLake六自由度技術(6DoF)的全面支撐。
正如它的名字所稱,這項創新技術,足夠「6」,也足夠「自由」。六自由度通過多攝像頭同步采集、3D重建、壓縮傳輸和實時渲染技術,可以實現子彈時間、虛擬運鏡、自由視角交互等效果,并支持3D空間剪輯創作,為用戶帶來沉浸式體驗。
體育賽場之外,六自由度技術也在更多場景中給用戶帶來新奇體驗。比如,在快手電商場景,目前該技術在服裝的短視頻拍攝和制作中已得到應用,實現了基于全視角虛擬運鏡的服裝帶貨短視頻體驗,用戶們在手機上可以全方位交互式的觀看服裝多角度的細節。仿佛在xy軸之外,從屏幕里又延伸出一條打破空間的z軸。
技術創新源于持續探索,快手音視頻技術團隊數年來積累了豐富的工程、算法技術。在直播活動上,團隊成功支持了2021年春晚、東京奧運等大型活動。面對來自不同業務場景的訴求,音視頻技術團隊充分發揮算法的靈活性和延展性,根據項目“定制化”方案,融入最新前沿科技,致力于以用戶需求為導向,提升用戶體驗。
技術普惠的初心
一直以來,快手希望通過普惠的流量分發策略,給普通用戶更多的曝光機會,這也滋養了快手平臺內容的多樣性。
如今火出圈的村BA,正是通過快手等短視頻平臺被更多大山之外的人們看見。小寨村的籃球賽向來熱鬧,但在過去,山村之外卻無人知曉。后來,村民隨手拍下來發到快手上,村BA開始火爆全網,并得到了官方扶植。
同時,普惠理念也刻在快手技術創新的基因里。
不久前,子彈時間的鏡頭對準的,還只有頂尖賽事的體育明星。而現在,身在大山深處的運動愛好者,也能站上焦點。他們驚人的爆發力、精彩的扣籃瞬間、競技體育精神,以及對籃球的熱愛,都凝固在「子彈時間」的特效里,沖出了十里八鄉,可以被全球觀眾反復欣賞。
和「子彈時間」一樣,快手多年來積累的深厚技術也在幫助用戶越過高墻。2022年8月,快手正式發布技術toB品牌StreamLake,提供一站式音視頻+AI解決方案,助力行業視頻化和智能化升級。讓視頻的生產和創作變得更「輕盈」,讓前沿技術融入日常生活,也正是快手技術普惠的初心。