這些AI視頻畫面清晰且富有細節,但每個分鏡時長僅幾秒,人物講話未能匹配適合嘴型,畫面連貫性和敘事性相比影視仍有距離。
OpenAI文生視頻AI工具Sora已發布數十個視頻,展現了AI文生視頻的新可能。第一財經記者了解到,隨著多個文生圖、文生視頻軟件發布,已有不少視頻制作者開始制作AI視頻。
例如,近日發布的一個用AI技術生成的《西游記》近4分鐘動畫短片展現了石猴從降生到拜師學藝的過程,花果山水簾洞內的水流、植物和擺設錯落,天庭依山而建,視頻還展示了孫悟空乘船前往城鎮、來到靈臺方寸山的過程。畫面中,山巒煙霧繚繞,水面有落葉等細節,街景呈現了古代著裝的行人、門樓和商店。這段視頻發布在抖音和bilibili上,在bilibili有超70萬觀看。另一個與AI制作的《大鬧天宮》預告片在bilibili上有超100萬播放量,畫面中,天庭的座椅、服飾透露著莊嚴,鏤空的器皿顯現出設計細節,人物面部表情自然。
一些AI制作的MV或預告片、宣傳片也在視頻平臺上獲得數十萬播放量。例如,一個動物版《恭喜發財》MV有多個小狗穿著紅色傳統服飾的畫面,并演奏多種樂器、騎自行車、寫毛筆字,畫面細節豐富,動物毛發細節清晰。廣西衛視也在網上放出了全AI制作的龍年宣傳片。據記者觀察,這些AI視頻的共同點是畫面清晰且富有細節,但每個分鏡的時長只有幾秒,人物講話時還未能匹配適合的嘴型,畫面的連貫性和敘事性相比影視仍存在距離,這些特點使目前AI視頻更適合制作預告片、MV等對敘事要求不高、對畫面沖擊力要求較高的中短視頻。
與視頻創作者已在使用的多個AI視頻制作工具不同,Sora在視頻時長上有明顯優勢,可直接生成60秒視頻,但Sora目前還未對外開放使用。記者發現,不少AI制作視頻都使用AI繪圖工具先生成圖片,再使用圖生視頻工具生成AI視頻。例如,以上近4分鐘的《西游記》動畫的創作工具是AI繪圖工具Midjourney和圖生視頻工具Runway,構思階段采用了ChatGPT分析原著文字并規劃分鏡,隨后通過剪映剪輯。以上《大鬧天宮》預告片也使用Midjourney和Runway制作,劇本設計使用了大語言模型輔助。
發布以上《西游記》動畫的博主“AI瘋人院”從事美術工作15年,他表示,該視頻如果人工制作至少需要半年,而自己在AI的幫助下一周就完成了。但他同時指出,繪圖和圖片生成視頻的過程還會產生廢稿,AI還很難完全理解創作者的意圖,存在隨機性。發布《大鬧天宮》預告片的博主則在評論中稱,AI迭代太快,要做成三個半小時的電影預計可以在兩年內。但也有網友針對AI視頻評論稱,AI生成仍顯得僵硬、像PPT、風格仍不夠貼合主題。
市面上目前可生成AI視頻的工具還包括谷歌Gemini、阿里云12VGen-XL等。阿里云在一個視頻中介紹,生成視頻不需美術和編導基礎,創作者可以在魔搭創空間找到MotionAgent AI應用,通過該應用,在生成劇本時用到Qwen-7B-Chat大模型,在文生圖時使用Stability的SDXL模型,再由圖片生成視頻,阿里云的視頻生成軟件是開源的12VGen-XL,音樂也可以通過提示詞AI生成。
有影視制作者向第一財經記者表示,AI技術已在視頻制作中應用,在平面設計上效果很好,但在AI視頻中,目前逐幀光影銜接還有問題,從Sora放出的視頻看,也存在逐幀的銜接問題。
2023年至今,與AI視頻、圖片相關的技術還在持續迭代。例如,此前香港科技大學、螞蟻團隊、浙江大學CAD&CG實驗室合作的項目CoDeF,其算法能根據提示詞對視頻進行風格轉換,香港大學、阿里巴巴和螞蟻集團的新成果Anydoor可實現圖片中物體瞬間移動,學界還有研究團隊探索圖像修復和還原技術。






