聲明:本文來(lái)自于微信公眾號(hào)量子位（ID:QbitAI），作者:夢(mèng)晨 克雷西，授權(quán)轉(zhuǎn)載發(fā)布
Sora新視頻，變成“抖音獨(dú)占”了。
悄無(wú)聲息，OpenAI正式殺入TikTok，加上洗腦配樂(lè)直接讓人刷到停不下來(lái)，瘋狂引流吸粉中:
短短4天，漲粉10萬(wàn)，50萬(wàn)贊——這還是不打槍不宣傳的情況下。
這以后，人類(lèi)創(chuàng)作者還怎么玩?
Sora新視頻，只發(fā)TikTok
在OpenAI剛開(kāi)的TikTok認(rèn)證帳號(hào)上，悄然更新了不少全新生成視頻。
每一個(gè)都很有特點(diǎn)，同樣引發(fā)各路熱議。
來(lái)感受一下:
a16z合伙人驚呼，如果這是在信息流里刷出來(lái)的，絕對(duì)分不出真假。
我看過(guò)很多AI視頻了，但這一條感覺(jué)到了轉(zhuǎn)折點(diǎn)。
來(lái)到真實(shí)的短視頻消費(fèi)場(chǎng)景中，就更顯Sora與競(jìng)品代差明顯:太逼真，以至于要特別聲明不是真的。
OpenAI可太擔(dān)心AI視頻被當(dāng)真引起不好影響了，不遺余力的以各種方式提醒“這是假的!這是假的!”。
網(wǎng)友開(kāi)始發(fā)出這樣的預(yù)警:
從現(xiàn)在開(kāi)始，你在網(wǎng)上看到的一切都是值得懷疑的，不要相信你的眼睛。
有句老話叫“互聯(lián)網(wǎng)時(shí)代，沒(méi)有人知道你是一條狗”。
現(xiàn)在正式升級(jí)成“Sora時(shí)代，沒(méi)有人知道你是一條不存在的狗”。
下面再來(lái)欣賞幾個(gè)“抖音獨(dú)占”版Sora視頻:
超微距追蹤蟻群，效果堪比紀(jì)錄片。
以前DALL·E3畫(huà)的靜態(tài)圖也可以拿出來(lái)重復(fù)利用，Sora加工一下再配上電音，就成了爆款舞蹈視頻。
還特意用一條長(zhǎng)達(dá)1分24秒的視頻，展示了類(lèi)似抖音特效的AI視頻編輯能力。
直接搞得不少短視頻創(chuàng)作者心態(tài)爆炸，要退坑了。
甚至連平臺(tái)本身都被降維打擊。
全球估值第一的獨(dú)角獸字節(jié)跳動(dòng)，與剛剛躍升第三位的OpenAI之間，似乎正醞釀著一場(chǎng)對(duì)決。
UGC王者和AIGC新貴之間，終有一戰(zhàn)。
“字節(jié)版Sora”也在備戰(zhàn)
實(shí)際上，在Sora一夜爆火之前，字節(jié)內(nèi)部并不缺乏AI視頻技術(shù)。
甚至其中一款Boximator還被傳成是“中國(guó)版Sora”。
在Sora發(fā)布之前Boximator的論文就已經(jīng)公布，由字節(jié)AI實(shí)驗(yàn)室總監(jiān)李航領(lǐng)銜。
其實(shí)Boximator的功能并非根據(jù)純文字生成視頻，而是按照文字提示將靜態(tài)圖片動(dòng)態(tài)化。
它以字節(jié)去年11月推出的PixelDance為基礎(chǔ)模型，加入了新的動(dòng)作設(shè)定方式——
從圖像中框選物體，然后設(shè)置運(yùn)動(dòng)終點(diǎn)或直接繪制軌跡，就能對(duì)動(dòng)態(tài)效果進(jìn)行精細(xì)控制。
形式上，Boximator作為一個(gè)插件，與現(xiàn)有的視頻擴(kuò)散模型結(jié)合使用，通過(guò)凍結(jié)基礎(chǔ)模型的權(quán)重，僅訓(xùn)練控制模塊來(lái)實(shí)現(xiàn)這一功能。
比如，通過(guò)框框畫(huà)畫(huà)，讓小哈基米按照一定的軌跡追著球跑。
效果上，雖然也有bug（飄走的雨傘沒(méi)有傘柄），但與Pika1.0(中)和Gen-2(右)相比，Boximator的動(dòng)畫(huà)明顯更加完整，也更接近文字提示。
從材質(zhì)和物理效果上看，也是Boximator更勝一籌。
技術(shù)層面，從架構(gòu)上看，Boximator在視頻擴(kuò)散模型的每個(gè)空間注意力塊中增加了一個(gè)新的自注意力層，用于處理由對(duì)象ID、硬/軟標(biāo)志和邊界框坐標(biāo)編碼的控制token。
為了簡(jiǎn)化學(xué)習(xí)“框-對(duì)象”關(guān)聯(lián)的挑戰(zhàn)，Boximator在訓(xùn)練過(guò)程中還采用了一種稱為自跟蹤（self-tracking）的技術(shù)。
那么Boximator到底算不算“字節(jié)版Sora”?
字節(jié)對(duì)此傳聞，以辟謠的姿態(tài)來(lái)回應(yīng):
Boximator是視頻生成領(lǐng)域控制對(duì)象運(yùn)動(dòng)的技術(shù)方法研究項(xiàng)目，目前還無(wú)法作為完善的產(chǎn)品落地，距離國(guó)外領(lǐng)先的視頻生成模型在畫(huà)面質(zhì)量、保真率、視頻時(shí)長(zhǎng)等方面還有很大差距。
Boximator建立在之前PixelDance（基礎(chǔ)研究）、MagicAnimate(專(zhuān)注于人體動(dòng)作)等更多字節(jié)團(tuán)隊(duì)研究基礎(chǔ)之上的最新成果。
總的來(lái)說(shuō)，這些技術(shù)并非針對(duì)Sora特意開(kāi)發(fā)，但在AIGC大戰(zhàn)如火如荼的背景之下，仍不失為一種“戰(zhàn)備”。
再加上年前原抖音CEO張楠卸任，專(zhuān)注于剪映，奔赴AIGC風(fēng)口。
可以說(shuō)雖然Sora的發(fā)布很突然，但字節(jié)并不是毫無(wú)準(zhǔn)備，或者說(shuō)早就在業(yè)務(wù)推進(jìn)中感知到了技術(shù)趨勢(shì)。
而相比OpenAI與字節(jié)這樣早晚要有的對(duì)決，視頻行業(yè)上下游其他選手，更像是遭遇了一場(chǎng)飛來(lái)橫禍。
視頻編輯、素材站遭殃
Sora的第一刀，其實(shí)砍向了Adobe。
5天過(guò)去了，股價(jià)跌跌不休，市值蒸發(fā)過(guò)百億美元。
危機(jī)時(shí)刻，Adobe剛剛緊急宣布，組建了一個(gè)50人的AI研究團(tuán)隊(duì)。
但是這投入的力度，沒(méi)讓大家看出誠(chéng)意。
29945員工中的50人，只占0.16%。
Adobe代表的是沿用近30年的視頻生產(chǎn)、編輯工具，服務(wù)于內(nèi)容創(chuàng)作者。
不轉(zhuǎn)型就會(huì)變成下一個(gè)柯達(dá)、諾基亞，但轉(zhuǎn)型也被認(rèn)為面臨很大挑戰(zhàn)。
比如有人指出，Adobe坐擁大量數(shù)據(jù)，但要用過(guò)去創(chuàng)作者的成果去訓(xùn)練AI，就會(huì)與這些用戶關(guān)系緊張。
也正是因此，Adobe的AI生圖工具Firefly并沒(méi)有在自家創(chuàng)意作品社區(qū)Behance的數(shù)據(jù)上訓(xùn)練，有些束手束腳。
又比如從過(guò)去Adobe在AI生圖的表現(xiàn)來(lái)看，效果比Midjourney尚且很大差距，如今在AI視頻上又該如何面對(duì)OpenAI的技術(shù)代差。
Adobe之外，受沖擊第二大的就是素材供應(yīng)商了，代表公司Shutterstock的日子也不好過(guò)。
連馬斯克都認(rèn)同“這個(gè)行業(yè)可能消亡”的觀點(diǎn)。
不過(guò)Shutterstock也給自己找好了退路，早早與OpenAI簽訂了合作協(xié)議，從素材供應(yīng)商開(kāi)始轉(zhuǎn)型訓(xùn)練數(shù)據(jù)供應(yīng)商。
這幾天不斷刷屏的Sora視頻中，就有不少Shutterstock圖片的影子。
還有人開(kāi)玩笑說(shuō)，Sora名字四個(gè)字母不會(huì)就是代表“Shutterstock原創(chuàng)，AI攪拌”吧。
參考鏈接:
[1]https://www.tiktok.com/@openai
[2]https://boximator.github.io/
[3]https://twitter.com/bilawalsidhu/status/1760076742679552273
