IT之家 11 月 16 日消息，谷歌公司近日發(fā)布新聞稿，介紹了小型人工智能模型 Mirasol，可以回答有關(guān)視頻的問(wèn)題并創(chuàng)造新的記錄。
AI 模型目前很難處理不同的數(shù)據(jù)流，如果要讓 AI 理解視頻，需要整合視頻、音頻和文本等不同模態(tài)的信息，這大大增加了難度。
谷歌和谷歌 Deepmind 的研究人員提出了新的方法，將多模態(tài)理解擴(kuò)展到長(zhǎng)視頻領(lǐng)域。
借助 Mirasol AI 模型，該團(tuán)隊(duì)試圖解決兩個(gè)關(guān)鍵挑戰(zhàn)：
- 需要以高頻采樣同步視頻和音頻，但要異步處理標(biāo)題和視頻描述。
- 視頻和音頻會(huì)生成大量數(shù)據(jù)，這會(huì)讓模型的容量緊張。
谷歌在 Mirasol 中使用合路器（combiners）和自回歸轉(zhuǎn)換器（autoregressive transformer）模型。
該模型組件會(huì)處理時(shí)間同步的視頻和音頻信號(hào)，然后再將視頻拆分為單獨(dú)的片段。
轉(zhuǎn)換器處理每個(gè)片段，并學(xué)習(xí)每個(gè)片段之間的聯(lián)系，然后使用另一個(gè)轉(zhuǎn)換器處理上下文文本，這兩個(gè)組件交換有關(guān)其各自輸入的信息。
名為 Combiner 的新穎轉(zhuǎn)換模塊從每個(gè)片段中提取通用表示，并通過(guò)降維來(lái)壓縮數(shù)據(jù)。每個(gè)段包含 4 到 64 幀，該模型當(dāng)前共有 30 億個(gè)參數(shù)，可以處理 128 到 512 幀的視頻。
在測(cè)試中，Mirasol3B 在視頻問(wèn)題分析方面達(dá)到了新的基準(zhǔn)，體積明顯更小，并且可以處理更長(zhǎng)的視頻。使用包含內(nèi)存的組合器變體，該團(tuán)隊(duì)可以將所需的計(jì)算能力進(jìn)一步降低 18%。
IT之家在此附上 Mirasol 的官方新聞稿，感興趣的用戶可以深入閱讀。
