日前，網(wǎng)易數(shù)帆旗下人工智能技術(shù)與服務(wù)品牌——網(wǎng)易易智在CCF和百度聯(lián)合舉辦的“千言數(shù)據(jù)集：文本相似度”行業(yè)測(cè)評(píng)中擊敗多支勁旅，榮登榜首。
文本相似度，即識(shí)別兩段文本在語義上是否相似，在自然語言處理（NLP）領(lǐng)域是一個(gè)重要研究方向，目前已大規(guī)模商用于智能客服、信息檢索、新聞推薦等領(lǐng)域，如已服務(wù)超40萬企業(yè)客戶的網(wǎng)易七魚智能客服，背后就有這項(xiàng)技術(shù)的支撐。
榜單中“網(wǎng)易杭州研究院”為網(wǎng)易易智團(tuán)隊(duì)
知識(shí)沉淀與技術(shù)積累立功，網(wǎng)易易智文本相似度雄踞榜首
“千言數(shù)據(jù)集”系列評(píng)測(cè)是中文自然語言處理領(lǐng)域的大規(guī)模賽事，其中文本相似度開源項(xiàng)目收集了來自哈爾濱工業(yè)大學(xué)的LCQMC、BQ Corpus，以及谷歌的PAWS-X（中文）等公開數(shù)據(jù)集，期望對(duì)文本相似度模型效果進(jìn)行綜合的評(píng)價(jià)，推動(dòng)文本相似度在自然語言處理領(lǐng)域的應(yīng)用和發(fā)展。
據(jù)了解，這些公開數(shù)據(jù)集在相關(guān)論文的支撐下，對(duì)現(xiàn)有的公開文本相似度模型進(jìn)行了較全面的評(píng)估，具有較高的權(quán)威性，代表了文本相似度技術(shù)研究的最高水準(zhǔn)。
哈爾濱工業(yè)大學(xué)（深圳）LCQMC數(shù)據(jù)集任務(wù)示例
在本次文本相似度測(cè)評(píng)中，網(wǎng)易易智結(jié)合了多年技術(shù)經(jīng)驗(yàn)積累，和大規(guī)模預(yù)訓(xùn)練語言模型的運(yùn)用，再加上對(duì)比賽任務(wù)進(jìn)行的針對(duì)性優(yōu)化，取得了目前的優(yōu)異成績。
網(wǎng)易易智的參賽隊(duì)伍表示，這次比賽任務(wù)主要有2個(gè)難點(diǎn)。一個(gè)難點(diǎn)是BQ Corpus數(shù)據(jù)集是金融領(lǐng)域的數(shù)據(jù)，該數(shù)據(jù)集涉及到金融行業(yè)的大量知識(shí)，而通用預(yù)訓(xùn)練語言模型難以捕捉到特定行業(yè)的潛在知識(shí)。為此，團(tuán)隊(duì)采用半監(jiān)督學(xué)習(xí)等方式，從網(wǎng)易內(nèi)部多個(gè)業(yè)務(wù)場(chǎng)景中挖掘出泛金融領(lǐng)域知識(shí)，進(jìn)而獲得金融領(lǐng)域預(yù)訓(xùn)練語言模型，最終在該任務(wù)上較大幅度領(lǐng)先于其他參賽團(tuán)隊(duì)。
而另一個(gè)難點(diǎn)是PAWS-X數(shù)據(jù)集的質(zhì)量問題，該數(shù)據(jù)來自于英文的翻譯，翻譯內(nèi)容與真實(shí)中文有出入，尤其會(huì)對(duì)算法造成干擾的是實(shí)體詞（如人名、地名）的翻譯不統(tǒng)一，即相同的人名，前一個(gè)句子保留英文原文，后一個(gè)句子卻音譯為中文。針對(duì)這個(gè)數(shù)據(jù)特點(diǎn)，網(wǎng)易易智利用自研的NER（命名實(shí)體識(shí)別）服務(wù)進(jìn)行實(shí)體詞的識(shí)別與歸一化，并利用自研的中文文本糾錯(cuò)服務(wù)糾正其中的錯(cuò)別字、語病之后，再進(jìn)行模型訓(xùn)練，最終在該任務(wù)上也取得了第一。
網(wǎng)易易智助力七魚機(jī)器人精準(zhǔn)理解客戶訴求
網(wǎng)易易智基于文本相似度等系列NLP技術(shù)構(gòu)建了一套智能對(duì)話系統(tǒng)，服務(wù)集團(tuán)內(nèi)部多個(gè)業(yè)務(wù)，如嚴(yán)選客服、IT咨詢等，并與七魚業(yè)務(wù)聯(lián)合打造智能客服機(jī)器人產(chǎn)品，服務(wù)集團(tuán)外部客戶。
以九陽股份有限公司為例，其核心訴求之一，是通過高效、精準(zhǔn)、人性化的咨詢服務(wù)保障用戶的購物體驗(yàn)，如用戶對(duì)于小家電產(chǎn)品功能、操作、價(jià)格、優(yōu)惠活動(dòng)、養(yǎng)護(hù)、維修等問題的咨詢。
為此，九陽接入了網(wǎng)易七魚在線機(jī)器人，在問題匹配率可高達(dá)90%以上的基礎(chǔ)上，提供更懂用戶的智能服務(wù)體驗(yàn)。基于網(wǎng)易易智文本相似度算法，七魚在線機(jī)器人實(shí)現(xiàn)了核心語義匹配，從而達(dá)成BOT、FAQ等功能。此外，通過語義匹配技術(shù)，七魚在線機(jī)器人還實(shí)現(xiàn)了對(duì)知識(shí)庫的智能挖掘與生成。借助這些能力，七魚在線機(jī)器人可以高效、精準(zhǔn)地解答不同場(chǎng)景下的客戶問題。
而在快遞領(lǐng)域，申通快遞也接入了七魚智能客服應(yīng)對(duì)快遞咨詢問題，這是一個(gè)與上述金融、小家電完全不同的領(lǐng)域，然而運(yùn)用網(wǎng)易易智同樣的技術(shù)原理，智能客服快速實(shí)現(xiàn)了相似的效果。
網(wǎng)易易智NLP促進(jìn)數(shù)字業(yè)務(wù)創(chuàng)新
文本相似度技術(shù)的商業(yè)價(jià)值并不局限于智能客服領(lǐng)域。據(jù)網(wǎng)易易智負(fù)責(zé)人介紹，文本相似度技術(shù)大類歸于文本匹配，除了對(duì)話引擎里，該技術(shù)在網(wǎng)易內(nèi)部還有更多的應(yīng)用落地，如網(wǎng)易云音樂中的評(píng)論智能挖掘、直播/短視頻中的歌詞匹配以及知識(shí)公路業(yè)務(wù)中的視頻選題相似度檢測(cè)等創(chuàng)新解決方案應(yīng)用。
而從整個(gè)技術(shù)領(lǐng)域來看，作為一門讓機(jī)器理解人類語言的技術(shù)，NLP素有“人工智能皇冠上的明珠”之稱，既是難以攻克的前沿課題，也對(duì)數(shù)字業(yè)務(wù)創(chuàng)新具有重要的意義。除了文本相似度，網(wǎng)易易智也一直在探索NLP技術(shù)與業(yè)務(wù)創(chuàng)新的最大公約數(shù)，并取得了一些階段性的成果。
例如，語義解析技術(shù)在軟件測(cè)試中的使用，顯著提升自動(dòng)化水平、實(shí)現(xiàn)降本增效，這對(duì)于數(shù)字化軟件質(zhì)量的保障非常有利；文本糾錯(cuò)技術(shù)在網(wǎng)易新聞等文稿審校場(chǎng)景中大規(guī)模使用，將拼寫及語法等錯(cuò)誤及時(shí)發(fā)現(xiàn)并予以糾正，大幅提升用戶閱讀體驗(yàn)，同時(shí)降低內(nèi)容生產(chǎn)的工作量。
未來，網(wǎng)易易智還將聯(lián)合網(wǎng)易數(shù)帆旗下有數(shù)團(tuán)隊(duì)，探索NLP在大數(shù)據(jù)系統(tǒng)中的應(yīng)用，如支持業(yè)務(wù)人員與分析系統(tǒng)的自然語言交互，使得企業(yè)能夠更好地發(fā)揮大數(shù)據(jù)的價(jià)值。
