【ITBEAR科技資訊】4月11日消息，蘋(píng)果公司于4月8日發(fā)布了一款名為Ferret-UI的新型多模態(tài)大語(yǔ)言模型，該模型能夠有效理解和與屏幕信息進(jìn)行交互，并在所有基本UI任務(wù)上超越了GPT-4V。這一技術(shù)的發(fā)布，讓人們對(duì)未來(lái)智能交互的期待愈發(fā)高漲。
據(jù)ITBEAR科技資訊了解，F(xiàn)erret-UI被設(shè)計(jì)為一種專(zhuān)為理解移動(dòng)UI屏幕量身定制的MLLM，它具備指向、定位和推理等多重能力。該技術(shù)通過(guò)靈活的輸入格式和基礎(chǔ)任務(wù)，能夠在移動(dòng)用戶(hù)界面屏幕上執(zhí)行各類(lèi)引用任務(wù)。Ferret-UI的一個(gè)顯著特點(diǎn)是“任何分辨率”技術(shù)，這項(xiàng)技術(shù)通過(guò)放大細(xì)節(jié)來(lái)解決UI屏幕中小型對(duì)象的識(shí)別問(wèn)題，進(jìn)而提升模型對(duì)UI元素的理解精度。
網(wǎng)友對(duì)此技術(shù)表示出極大的熱情，紛紛稱(chēng)贊其“泰褲辣”。盡管蘋(píng)果的泰坦項(xiàng)目曾遭遇挫折，但Ferret-UI的發(fā)布無(wú)疑為蘋(píng)果在AI領(lǐng)域注入了新的活力。人們期待，如果這項(xiàng)技術(shù)能夠應(yīng)用于Siri，那么未來(lái)的智能助手將會(huì)變得更為聰明和便捷。
此外，研究人員為了增強(qiáng)模型的推理能力，特別編譯了用于高級(jí)任務(wù)的數(shù)據(jù)集，包括詳細(xì)描述、感知/交互對(duì)話(huà)和功能推理。在基礎(chǔ)任務(wù)性能的比較上，F(xiàn)erret-UI展現(xiàn)了對(duì)UI屏幕的出色理解能力以及執(zhí)行開(kāi)放式指令的能力。
隨著技術(shù)的不斷進(jìn)步，掌握應(yīng)用程序屏幕并使AI像人類(lèi)一樣進(jìn)行交互，蘋(píng)果未來(lái)或?qū)⒏淖僊LLM的游戲規(guī)則，為我們帶來(lái)更加智能和便捷的生活體驗(yàn)。
