近日，千博信息、中國(guó)科學(xué)院自動(dòng)化研究所、華為基于“紫東太初”三模態(tài)大模型、昇騰AI基礎(chǔ)軟硬件平臺(tái)打造出手語(yǔ)多模態(tài)模型及手語(yǔ)教考一體機(jī)，輔助聽(tīng)障人士更好地理解和學(xué)習(xí)手語(yǔ)。我國(guó)有2700多萬(wàn)聽(tīng)障人士，手語(yǔ)是聽(tīng)障人群溝通交流的主要方式，但手語(yǔ)學(xué)習(xí)面臨詞匯更新慢、師資短缺、手語(yǔ)標(biāo)準(zhǔn)難統(tǒng)一等多重挑戰(zhàn)。
手語(yǔ)多模態(tài)模型及手語(yǔ)教考一體機(jī)
研發(fā)人員讓“紫東太初”三模態(tài)大模型學(xué)習(xí)了1.2萬(wàn)個(gè)手語(yǔ)詞匯、50多萬(wàn)語(yǔ)法、70多萬(wàn)語(yǔ)料，基于昇思MindSpore AI框架，開(kāi)發(fā)手語(yǔ)多模態(tài)模型，開(kāi)創(chuàng)性地實(shí)現(xiàn)手語(yǔ)動(dòng)作與視頻、圖片示意和文字說(shuō)明的聯(lián)動(dòng)，讓初學(xué)者對(duì)手語(yǔ)語(yǔ)義理解更加深刻。而后，基于手語(yǔ)多模態(tài)模型，利用昇騰AI基礎(chǔ)軟硬件平臺(tái)開(kāi)發(fā)出手語(yǔ)教考一體機(jī)。目前，該一體機(jī)已在湖南多個(gè)特殊教育學(xué)校陸續(xù)上線，一定程度上緩解了手語(yǔ)師資短缺問(wèn)題。
手語(yǔ)教考一體機(jī)可以實(shí)現(xiàn)文本到圖像的自動(dòng)生成，具備實(shí)時(shí)手語(yǔ)手勢(shì)識(shí)別、表情及唇語(yǔ)識(shí)別等能力，并且還可實(shí)現(xiàn)新事物詞匯的及時(shí)學(xué)習(xí)與更新，適用于特殊教育學(xué)校、開(kāi)設(shè)手語(yǔ)教學(xué)師資培養(yǎng)的大專院校、通用手語(yǔ)推廣教學(xué)點(diǎn)和全國(guó)殘聯(lián)基層培訓(xùn)點(diǎn)等。此外，基于手語(yǔ)多模態(tài)模型打造的AI手語(yǔ)助手功能可用于同傳翻譯、新聞主持、服務(wù)引導(dǎo)等場(chǎng)景。
2021年底，基于“紫東太初”三模態(tài)大模型，華為攜手伙伴成立了多模態(tài)人工智能產(chǎn)業(yè)聯(lián)盟，經(jīng)過(guò)半年多緊密合作，陸續(xù)孵化出多個(gè)行業(yè)解決方案，如手語(yǔ)多模態(tài)模型和手語(yǔ)教考一體機(jī)。在AI大模型產(chǎn)業(yè)化落地過(guò)程中，豐富的數(shù)據(jù)和參數(shù)、更泛化的應(yīng)用場(chǎng)景，反哺大模型基礎(chǔ)能力，讓大模型更智能、場(chǎng)景適用性更好，從而對(duì)行業(yè)應(yīng)用提供更大的支持，實(shí)現(xiàn)大模型創(chuàng)新到應(yīng)用，再到迭代升級(jí)的產(chǎn)業(yè)正循環(huán)。未來(lái)基于中國(guó)算力網(wǎng)—智算網(wǎng)絡(luò)的充沛算力，AI大模型的創(chuàng)新、應(yīng)用到迭代升級(jí)的速度將進(jìn)一步加快，大模型在不同領(lǐng)域的應(yīng)用也將更加多元化。
