近日，豆包APP上線(xiàn)實(shí)時(shí)視頻通話(huà)功能，用戶(hù)在電話(huà)界面開(kāi)啟視頻畫(huà)面后，豆包能基于真實(shí)場(chǎng)景與用戶(hù)進(jìn)行實(shí)時(shí)問(wèn)答互動(dòng)。
(豆包打電話(huà)界面點(diǎn)擊視頻按鈕，即可實(shí)時(shí)視頻通話(huà))
旅行過(guò)程中，用戶(hù)可打開(kāi)視頻通話(huà)，詢(xún)問(wèn)所處景點(diǎn)的歷史背景、特色內(nèi)容或路線(xiàn)規(guī)劃等。例如，用戶(hù)在故宮參觀(guān)時(shí)，可以通過(guò)視頻向“豆包”展示景點(diǎn)畫(huà)面，了解特定宮殿的歷史故事、建筑特色，實(shí)現(xiàn)“邊走邊聊”。在博物館、美術(shù)館等場(chǎng)景，也可以打開(kāi)視頻通話(huà)功能，隨時(shí)問(wèn)豆包展品的背景信息。
該功能基于最新的豆包視覺(jué)理解模型。模型擁有較好的內(nèi)容識(shí)別、理解推理和內(nèi)容描述能力，能夠融合視覺(jué)與語(yǔ)言輸入，進(jìn)行綜合的深度思考和創(chuàng)作。根據(jù)圖像信息，豆包視覺(jué)理解模型還能完成諸多復(fù)雜的邏輯計(jì)算任務(wù)，包括解微積分題、分析論文圖表、診斷真實(shí)代碼問(wèn)題等挑戰(zhàn)性任務(wù)。
此外，為進(jìn)一步提升對(duì)話(huà)的準(zhǔn)確性與時(shí)效性，豆包視頻通話(huà)功能還接入了聯(lián)網(wǎng)搜索能力，實(shí)時(shí)獲取互聯(lián)網(wǎng)最新信息。
去年底，豆包上線(xiàn)圖片理解功能，支持上傳圖片后識(shí)別內(nèi)容，包括理解梗圖等。如今，豆包進(jìn)一步升級(jí)，將視覺(jué)理解能力延伸到視頻場(chǎng)景，讓用戶(hù)在生活場(chǎng)景中直接互動(dòng)，大幅降低用戶(hù)的交互門(mén)檻，打造邊看邊聊的智能化體驗(yàn)。
