蘋果公司與哥倫比亞大學攜手，近期推出了一款名為SceneScout的人工智能導航助手，專為盲人及視力受限群體設計，旨在提升他們的日常出行體驗。
這款創新系統整合了蘋果地圖API與基于GPT-4內核的多模態大語言模型，能夠根據用戶的具體需求，生成詳盡且個性化的環境描述。盡管相關研究成果已在預印平臺arXiv上公布，但尚未正式通過同行評審。
SceneScout的核心功能涵蓋路線預覽與虛擬探索兩大模塊。前者使用戶能夠在出發前預先了解行程中的道路狀況，包括人行道質量、交叉口特征、附近公交站點等信息，這些信息對盲人用戶來說至關重要，有助于他們更好地規劃出行路線。
虛擬探索功能則允許用戶根據實際需求，自由探索開放場景。例如，用戶可詢問系統關于“附近公園附近的安靜居住區”的信息，系統便會依據請求，提供詳盡的方向指引。SceneScout通過模擬行人視角解讀周圍景象，并以結構化的文本形式輸出，支持多種長度的描述，適配多種讀屏軟件，確保盲人用戶能夠輕松閱讀。
在測試階段，SceneScout邀請了10名具有科技背景的視障用戶進行體驗。測試結果顯示，AI生成的描述中，有72%被認為是準確的。用戶對于虛擬探索功能的反饋尤為積極，認為這一創新方式有效替代了傳統信息獲取手段，極大地便利了他們的日常出行。
