英偉達(dá)近期在人工智能領(lǐng)域邁出重要一步，推出了一款名為Describe Anything 3B（簡稱DAM-3B）的創(chuàng)新模型，專為解決圖像和視頻中特定區(qū)域的詳細(xì)描述難題而設(shè)計。
傳統(tǒng)的視覺-語言模型（VLMs）在概括整體圖像內(nèi)容方面表現(xiàn)出色，但當(dāng)需要針對圖像或視頻的某個特定區(qū)域進(jìn)行細(xì)致描述時，往往力不從心。特別是在處理視頻時，由于需要考慮時間動態(tài)因素，這一挑戰(zhàn)更為顯著。
英偉達(dá)推出的DAM-3B模型，正是為了解決這一痛點而生。用戶可以通過簡單的點擊、繪制邊界框、涂鴉或使用掩碼等方式，指定圖像或視頻中的目標(biāo)區(qū)域，DAM-3B便能生成精準(zhǔn)且符合上下文環(huán)境的描述文本。該模型分為兩個版本：DAM-3B適用于靜態(tài)圖像，而DAM-3B-Video則專門用于處理動態(tài)視頻。
DAM-3B的核心創(chuàng)新在于其獨(dú)特的“焦點提示”技術(shù)和“局部視覺骨干網(wǎng)絡(luò)”。焦點提示技術(shù)結(jié)合了全圖信息與目標(biāo)區(qū)域的高分辨率細(xì)節(jié)，確保在保留整體背景的同時，不丟失任何關(guān)鍵細(xì)節(jié)。而局部視覺骨干網(wǎng)絡(luò)則通過嵌入圖像和掩碼輸入，運(yùn)用先進(jìn)的門控交叉注意力機(jī)制，巧妙地將全局與局部特征融合在一起，再傳遞給大語言模型以生成描述。
為了克服訓(xùn)練數(shù)據(jù)匱乏的難題，英偉達(dá)開發(fā)了一套名為DLC-SDP的半監(jiān)督數(shù)據(jù)生成策略。該策略利用現(xiàn)有的分割數(shù)據(jù)集和未標(biāo)注的網(wǎng)絡(luò)圖像，構(gòu)建了一個包含150萬局部描述樣本的龐大訓(xùn)練語料庫。通過自訓(xùn)練方法，英偉達(dá)不斷優(yōu)化描述質(zhì)量，確保輸出文本的高精準(zhǔn)度。
為了評估DAM-3B的性能，英偉達(dá)推出了DLC-Bench評估基準(zhǔn)。這一基準(zhǔn)不再僅僅依賴于僵硬的參考文本對比，而是以屬性級正確性來衡量描述質(zhì)量，從而更準(zhǔn)確地反映模型的實際表現(xiàn)。
在包括LVIS、Flickr30k Entities等在內(nèi)的七項基準(zhǔn)測試中，DAM-3B均取得了領(lǐng)先成績，平均準(zhǔn)確率高達(dá)67.3%，超越了GPT-4o和VideoRefer等其他先進(jìn)模型。這一卓越表現(xiàn)，不僅填補(bǔ)了局部描述領(lǐng)域的技術(shù)空白，還為無障礙工具、機(jī)器人技術(shù)及視頻內(nèi)容分析等領(lǐng)域帶來了全新的可能性。
英偉達(dá)的這一創(chuàng)新成果，無疑將在人工智能領(lǐng)域掀起新的波瀾，推動相關(guān)技術(shù)的進(jìn)一步發(fā)展與應(yīng)用。
