只要對(duì)著屏幕豎起拇指，不到1秒，屏幕上便會(huì)回應(yīng)小朋友同樣的手勢(shì)，完成一次“點(diǎn)贊”。這是“手勢(shì)識(shí)別”AI功能帶給小朋友們的互動(dòng)體驗(yàn)。在作業(yè)幫直播課“小組直播間”中，“手勢(shì)識(shí)別”功能收獲了一眾“粉絲”，成為學(xué)生互動(dòng)滿(mǎn)意度最高的功能。
點(diǎn)贊、比心、OK等一系列手勢(shì)，既新奇有趣，又能幫助主講老師在線上教學(xué)場(chǎng)景中和學(xué)生有效互動(dòng)。而通過(guò)AI技術(shù)賦能，作業(yè)幫直播課不斷為線上課堂創(chuàng)造驚喜的同時(shí)，也驅(qū)動(dòng)著在線教育形態(tài)的升級(jí)。
需求：讓每一次互動(dòng)不落空
“讓老師看看，是哪位學(xué)生沒(méi)坐好啊？”“大家回答得特別棒，一起給自己點(diǎn)個(gè)贊吧”……在觀察小學(xué)課堂時(shí)，作業(yè)幫小學(xué)產(chǎn)品負(fù)責(zé)人曹越發(fā)現(xiàn)，師生間的肢體互動(dòng)是活躍課堂氣氛、提升上課效率的有效手段。
尤其在“小組直播間”雙向視頻的模式下，由于師生間可以互相看見(jiàn)，類(lèi)似的互動(dòng)變得更加高頻，一節(jié)課大約有5~6次。
但與此同時(shí)，曹越也敏銳地發(fā)現(xiàn)了“即時(shí)反饋缺失”帶來(lái)的問(wèn)題。“有時(shí)候老師讓孩子給自己點(diǎn)個(gè)贊，點(diǎn)贊之后老師沒(méi)有說(shuō)把手放下，有的孩子可能就會(huì)一直舉著，因?yàn)樗麄儾淮_定老師是不是看見(jiàn)了自己的點(diǎn)贊。”
一位主講老師同時(shí)面對(duì)數(shù)千甚至上萬(wàn)學(xué)生的課堂，有限的精力無(wú)暇回應(yīng)每一位學(xué)生。是否能有這樣一個(gè)功能，讓學(xué)生的每一次參與都被感知，每一次互動(dòng)都被回應(yīng)？借助AI能力回應(yīng)小學(xué)生在課堂上的互動(dòng)行為，“手勢(shì)識(shí)別”功能的需求被提出。
研發(fā)：上班時(shí)間“自拍”的程序員
作業(yè)幫智能技術(shù)實(shí)驗(yàn)室負(fù)責(zé)人王巖團(tuán)隊(duì)接到了這一需求。最初，在產(chǎn)研團(tuán)隊(duì)和主講老師的頭腦風(fēng)暴環(huán)節(jié)，大概提了出15-20種手勢(shì)，單手和雙手都有。“產(chǎn)品要貼近應(yīng)用，小朋友不理解的和老師上課用不到的，做了也沒(méi)用。”王巖說(shuō)。最后，根據(jù)老師課堂實(shí)用性，保留了點(diǎn)贊、比心、OK等常用手勢(shì)。
但在功能落地過(guò)程中，難點(diǎn)也隨之而來(lái)。小朋友比劃的形式、角度等都會(huì)影響識(shí)別的準(zhǔn)確率，這就需要前期盡可能多地收集樣本素材，更準(zhǔn)確地定義各個(gè)手勢(shì)。
針對(duì)每個(gè)手勢(shì)，技術(shù)都會(huì)內(nèi)部先錄制一版demo。因?yàn)橐_定手勢(shì)是否貼合小朋友的習(xí)慣，需要模擬孩子上課的視角。為此，技術(shù)老師編寫(xiě)了一個(gè)小程序。然后，一群程序員，聚在辦公室里，打開(kāi)手機(jī)前置攝像頭，跟著自己編寫(xiě)的小程序，模仿小朋友做出各種比心、點(diǎn)贊的手勢(shì)。
初版demo完成后，負(fù)責(zé)產(chǎn)品的聶靖騏開(kāi)始在灰度測(cè)試中收集小朋友手勢(shì)，總共發(fā)起4-5次收集。“由主講老師在課中進(jìn)行引導(dǎo)，讓學(xué)生比出點(diǎn)贊、比心等手勢(shì)。然后，根據(jù)各種手勢(shì)的占比多少進(jìn)行取舍。”最后，有近萬(wàn)名學(xué)生的2000多種手勢(shì)被收錄到系統(tǒng)中。
上線：小朋友互動(dòng)滿(mǎn)意度最高
2020年初，隨著“小組直播間”的正式上線，手勢(shì)識(shí)別的功能也被應(yīng)用到課堂上。
在“小組直播間”中，孩子們獲得了更多關(guān)注，聽(tīng)懂了就隨手比個(gè)OK。他們也會(huì)向老師表達(dá)感謝，比如拇指和食指疊放，對(duì)著鏡頭比個(gè)心。
2020年暑期，在小組直播間功能升級(jí)調(diào)研中，手勢(shì)識(shí)別成為小學(xué)生互動(dòng)滿(mǎn)意度最高的功能，有77.14%的小學(xué)生表示，非常滿(mǎn)意，平均滿(mǎn)意度達(dá)4.7分（滿(mǎn)分5分）。
借助AI技術(shù)，作業(yè)幫讓在線課堂活躍起來(lái)，變得更加有趣。對(duì)于接下來(lái)的規(guī)劃，聶靖騏仍希望這項(xiàng)功能更好地應(yīng)用到教學(xué)場(chǎng)景。“朝著這個(gè)方向，我們會(huì)繼續(xù)豐富手勢(shì)和提高識(shí)別準(zhǔn)確率，為老師和學(xué)生帶來(lái)更豐富的體驗(yàn)。”
作為中國(guó)用戶(hù)規(guī)模最大的K12在線教育平臺(tái)，作業(yè)幫旗下產(chǎn)品總?cè)栈钣脩?hù)突破5000萬(wàn)，月活突破1.7億，累計(jì)服務(wù)學(xué)員超6500萬(wàn)。龐大的用戶(hù)體量和豐富的在線教育應(yīng)用場(chǎng)景，讓人工智能這個(gè)“看起來(lái)很遙遠(yuǎn)”的技術(shù)，得以廣泛應(yīng)用，融入小朋友的日常學(xué)習(xí)中。
未來(lái)，作業(yè)幫將借助技術(shù)持續(xù)賦能教育，引領(lǐng)更加智慧的在線教育新趨勢(shì)。
