靜音環(huán)境下如何看直播？海外主播講外語聽不懂怎么辦？最近這一需求得到了解決。
關(guān)注英雄聯(lián)盟LPL夏季賽的用戶不難發(fā)現(xiàn)，斗魚官方直播間新增了一項“不同尋常”的功能。當(dāng)用戶選擇“字幕線路”后，直播間底部即會出現(xiàn)一行動態(tài)文字，從BP環(huán)節(jié)的運籌帷幄，到賽場上的瞬息萬變，解說的激情講解句句不落，直播內(nèi)容均得到了較為準(zhǔn)確的翻譯。
據(jù)了解，這是斗魚全新上線的AI字幕功能，它不僅能夠?qū)⒅辈ヒ曨l流中的音頻進(jìn)行實時語音識別轉(zhuǎn)化為文字，以字幕的形式同步顯示在直播視頻流上，而且支持中、英、韓等多語種互譯。目前，斗魚已將這一功能先后面向數(shù)十個直播間開放體驗，覆蓋了英雄聯(lián)盟S10、英雄聯(lián)盟LPL夏季賽等大型賽事。
行業(yè)首創(chuàng)“游戲語言識別模型” 響應(yīng)速度達(dá)毫秒級
通過將機(jī)器算法與直播場景結(jié)合，斗魚率先突破了AI字幕的技術(shù)壁壘。值得注意的是，相較市場上存在的同聲傳譯、影視劇字幕等翻譯產(chǎn)品，在游戲場景內(nèi)，AI字幕的落地并非易事。
由于游戲直播的特性，主播直播的內(nèi)容存在大量的游戲術(shù)語，尤其是在專業(yè)較強(qiáng)的賽事直播中，譬如“腕豪”“雷歐娜”“集火輸出”“陣容強(qiáng)勢期”等，常規(guī)翻譯軟件通常難以理解。因此，斗魚AI字幕技術(shù)針對游戲直播內(nèi)容的識別，更“重義”而非“重音”。
與此同時，賽事直播間中解說、游戲和賽場的嘈雜聲音，不僅需要識別，還需要打磨工程協(xié)同。才能處理好字幕與語音之間的延遲、字幕懸停時長、斷句等細(xì)節(jié)體驗。為此，斗魚制定了“定制化游戲語言識別模型”，提升了對硬核語義，如戰(zhàn)隊名、隊員ID、裝備、技能等內(nèi)容的理解能力，同時過濾“垃圾話”等。并且通過ASR、NLP算法，在主播聲、游戲聲等復(fù)雜的語音環(huán)境中，實現(xiàn)了高精度識別，并能支持英語、日語、漢語等多種語言的識別與互譯，覆蓋不同人群的語言習(xí)慣。
據(jù)粗略統(tǒng)計，斗魚AI字幕在保證毫秒級響應(yīng)速度的同時，翻譯精度亦能保持在90%以上。未來，在使用過程中，受益于日積月累的數(shù)據(jù)沉淀與機(jī)器自我學(xué)習(xí)，AI對于游戲用語、游戲梗的理解精確度也將逐漸提升，不斷迭代提升觀眾的使用體驗。
支持中、英、韓等多語互譯 拓展多元化場景需求
AI字幕功能上線的背后，是斗魚對用戶使用痛點的精準(zhǔn)捕捉，也是對直播產(chǎn)品體驗的嚴(yán)格要求，更是對拓展多元化業(yè)務(wù)的摸索與沉淀。
其一，AI字幕能夠滿足用戶的多元化場景需求，大幅提升了直播觀看體驗。隨著5G技術(shù)的演進(jìn)，用戶觀看直播的場景從住所、網(wǎng)吧等，逐漸向公交地鐵、商場等公共場所轉(zhuǎn)移。一方面，AI字幕能夠?qū)⒂脩舻碾p耳從嘈雜的環(huán)境音中解放出來，讓直播的收看更加方便；另一方面，特有的中日英韓多語互譯功能，也能讓大多數(shù)用戶能夠看懂海外比賽，削減了觀看過程中的語言障礙。
其二，AI字幕滿足了聽障人群的使用需求。據(jù)統(tǒng)計，我國的聽力殘障人士約2780萬人，占全國殘障人群的30%以上。今年兩會的《政府工作報告》也明確提出，數(shù)字產(chǎn)品在設(shè)計時應(yīng)當(dāng)貼合社會中的弱勢人群。而AI字幕的上線能夠解決他們難以理解直播內(nèi)容的難題，讓廣大聽障人士獲得和正常人一樣地觀看直播。
其三，AI字幕能夠解決海外主播語言不通的痛點，從而吸納更多的海外人氣主播加入斗魚；另一方面，通過對多語種實時互譯技術(shù)的打磨，斗魚將有條件支持直接翻譯發(fā)布會內(nèi)容，如蘋果和微軟的新品發(fā)布會，從而打開商業(yè)合作的多元化前景，為其商業(yè)化提供想象空間。
在賽事期間，大量玩家反饋語音識別的便利性，尤其是“靜音環(huán)境用戶”在直播間展開了熱烈的討論，尤其表達(dá)了對該功能的認(rèn)可。
據(jù)了解，斗魚長期投入技術(shù)研發(fā)，致力于優(yōu)化用戶的使用體驗，已在直播技術(shù)領(lǐng)域建樹頗多。針對賽事直播場景，斗魚曾推出過實時回放功能、精彩時刻錨點功能，能夠?qū)崿F(xiàn)對直播內(nèi)容的全程回顧與快速定位，以及能夠減少直播卡頓的SRT推流技術(shù)等。AI字幕功能的推出，也充分體現(xiàn)了斗魚對用戶需求的強(qiáng)大洞察力。隨著平臺技術(shù)實力的不斷升級，斗魚將以更加細(xì)致化的技術(shù)革新，帶給用戶更加極致的產(chǎn)品體驗。
