近日，由中國人工智能學會主導，攜手CAAI智能傳媒專委會、新浪新聞、中國傳媒大學數(shù)據(jù)科學與智能媒體學院及其海南國際學院共同舉辦的2024智能傳媒技術(shù)發(fā)展論壇圓滿結(jié)束。此次論壇吸引了眾多行業(yè)專家，其中微博首席科學家及新技術(shù)研發(fā)領(lǐng)軍人物張俊林博士發(fā)表了主題演講，深入探討了多模態(tài)大模型技術(shù)的最新突破，并分享了微博在此領(lǐng)域的創(chuàng)新實踐。
近年來，多模態(tài)大模型技術(shù)如雨后春筍般涌現(xiàn)，其應用范圍廣泛，不僅重塑了人工智能的能力框架，還推動了多個行業(yè)的創(chuàng)新發(fā)展。張俊林博士指出，多模態(tài)大模型的技術(shù)發(fā)展脈絡清晰，大致可以分為兩個階段。今年4月之前，主要存在兩大分支：多模態(tài)理解大模型和多模態(tài)生成大模型。前者能夠處理多種模態(tài)的輸入信息，但輸出僅限于文本形式，主要用于回答用戶關(guān)于多模態(tài)內(nèi)容的查詢；后者則能夠生成包括文本、圖像、視頻在內(nèi)的多種模態(tài)內(nèi)容。
自今年4月起，業(yè)界開始將焦點轉(zhuǎn)向構(gòu)建統(tǒng)一的多模態(tài)大模型，旨在實現(xiàn)理解與生成功能的融合。張俊林博士強調(diào)，理想的統(tǒng)一多模態(tài)大模型應具備接納任意形態(tài)輸入（如文字、圖片、視頻、音頻等）的能力，并能生成相應形態(tài)的輸出。這一發(fā)展方向旨在實現(xiàn)模型對各種輸入的兼容以及多樣化輸出的生成。
在演講中，張俊林博士還詳細介紹了微博在多模態(tài)應用方面的創(chuàng)新探索。微博的多模態(tài)應用架構(gòu)基于強大的算力平臺，并在此基礎上構(gòu)建了微博知微大模型。憑借十余年積累的特色數(shù)據(jù)，如實時熱點、事件脈絡、網(wǎng)絡流行語等，微博結(jié)合了通用數(shù)據(jù)和自身特色數(shù)據(jù)，構(gòu)建了知微大模型，并開發(fā)了多款針對不同場景的應用，如評論機器人、劇綜虛擬角色生成、博主AI助手等。
張俊林博士特別提到了微博評論機器人的雙重價值：提升社區(qū)活躍度和為用戶提供情緒價值。評論機器人的技術(shù)核心是多模態(tài)評論大模型和人設大模型，通過微博的大量優(yōu)質(zhì)內(nèi)容及其對應的高質(zhì)量評論數(shù)據(jù)進行微調(diào)。當用戶發(fā)布微博后，評論機器人會將評論問題拆解成多個子任務，分別理解文字和圖片內(nèi)容，再根據(jù)預設的人設生成有特色的回復。通過不斷迭代和優(yōu)化，評論機器人的效果得到了顯著提升。
張俊林博士還介紹了微博在劇綜虛擬角色方面的應用。他指出，角色扮演是大模型的熱門應用領(lǐng)域，而微博則重點布局在影視劇綜的虛擬角色扮演上，旨在解決劇綜賬號活躍周期短的難題。通過構(gòu)建通用的角色大模型，并結(jié)合多模態(tài)RAG融入具體劇情和圖片信息，微博的虛擬角色能夠以符合角色身份的方式與用戶互動。數(shù)據(jù)顯示，引入多模態(tài)大模型后，評論互動率和用戶交互輪次均有所提升，驗證了多模態(tài)大模型在實際場景中的巨大潛力。
張俊林博士的演講不僅展示了微博在多模態(tài)大模型技術(shù)方面的創(chuàng)新成果，還為行業(yè)提供了寶貴的經(jīng)驗和啟示。隨著多模態(tài)大模型技術(shù)的不斷發(fā)展，微博將繼續(xù)探索更多創(chuàng)新應用，為用戶提供更加豐富和個性化的體驗。
