近年來，盡管自然語言處理技術(shù)飛速發(fā)展，但在模型魯棒性、可解釋性、復雜知識表示與文本融合、跨模態(tài)語義理解等方面依然面臨挑戰(zhàn)。為了解決自然語言技術(shù)發(fā)展中所面臨的挑戰(zhàn)和推進中文信息處理技術(shù)的進步，8月25日百度大腦語言與知識技術(shù)峰會在線上召開，百度聯(lián)合中國計算機學會、中國中文信息學會共同發(fā)布“千言”數(shù)據(jù)共建計劃（網(wǎng)址：https://luge.ai）。同時，百度技術(shù)委員會主席吳華發(fā)布了算力共享計劃，希望通過數(shù)據(jù)集的共建與算力的共享，與學界、產(chǎn)業(yè)界共同推進技術(shù)進步。
百度聯(lián)合中國計算機學會、中國中文信息學會共同發(fā)布千言數(shù)據(jù)共建計劃
目前，“千言”項目第一期已涵蓋7大任務、20余個中文開源數(shù)據(jù)集，由百度攜手哈工大、清華、中科院信息工程研究所等在內(nèi)的10所頂級高校、企業(yè)共同建設完成。吳華表示：“我們希望通過這些計劃，與業(yè)界同仁一起解決中文信息處理技術(shù)發(fā)展中的挑戰(zhàn)，并在世界范圍內(nèi)建設中文信息處理影響力。”
除兩大重磅計劃公布外，此次峰會凝聚了百度在語言與知識領(lǐng)域十年的技術(shù)積累和產(chǎn)業(yè)實踐。百度CTO王海峰發(fā)表主旨演講，解讀了百度語言與知識技術(shù)的發(fā)展歷程、最新成果及趨勢展望，百度集團副總裁吳甜重磅推出5款產(chǎn)品的新發(fā)布，加速技術(shù)大規(guī)模應用發(fā)展。
共建中文開源數(shù)據(jù)集 “千言”計劃應對語言與知識技術(shù)應用新挑戰(zhàn)
讓機器像人一樣理解語言、掌握知識的自然語言處理技術(shù)，是人工智能中認知智能的核心；對語言信息的處理能力也是一個國家的核心競爭力。我們每天都在使用的搜索、翻譯、信息流推薦、時刻回應你每個需求的智能助手等，背后都是語言與知識技術(shù)在發(fā)揮作用。
這樣大規(guī)模的產(chǎn)業(yè)化應用也對技術(shù)提出了新挑戰(zhàn)。包括模型需要具有全面的、處理多個子任務的能力；在跨領(lǐng)域數(shù)據(jù)上具有較好的泛化能力；在應用中有足夠的魯棒性以保證安全等等。此外，這些大規(guī)模應用對語義理解提出了更高的要求，要求模型具備一定的常識、背景知識甚至推理能力；同時隨著內(nèi)容承載形式的多元化，也需要模型具有多模態(tài)融合的內(nèi)容理解能力等。
為應對以上問題，百度聯(lián)合中國計算機學會、中國中文信息學會共同發(fā)起了“千言”數(shù)據(jù)共建計劃，攜手高校和企業(yè)的數(shù)據(jù)資源研發(fā)者共同建設中文開源數(shù)據(jù)集。在此次峰會上，百度技術(shù)委員會主席吳華、中國中文信息學會副理事長兼秘書長孫樂、中國計算機學會自然語言處理專委會主任周國棟共同解讀了“千言”數(shù)據(jù)集，“千言”的目標是覆蓋豐富的任務類型，從語義理解、知識融合、跨模態(tài)融合等角度推動技術(shù)進步，同時提供能進行多維度綜合評價的數(shù)據(jù)集，從而評價模型的全面性、泛化性和魯棒性等。
截至目前，第一期千言項目已涵蓋了7大任務、20余個中文開源數(shù)據(jù)集，包括開放域?qū)υ挕㈤喿x理解、機器同傳、情感分析、語義解析、信息抽取和文本相似度等。由百度攜手來自哈爾濱工業(yè)大學、清華大學、中國科學院信息工程研究所等10所頂尖高校和企業(yè)的數(shù)據(jù)集作者共同建立完成。
為了使千言能夠提供一站式的數(shù)據(jù)瀏覽、下載和評測的科研體驗，百度還對所有數(shù)據(jù)進行了處理，每個任務都有統(tǒng)一的數(shù)據(jù)格式和評測，并在此基礎上提供了基線系統(tǒng)，幫助加速模型的研發(fā)。
吳華表示，在未來3年中，千言計劃面向超20個任務，收集和建設不少于100個中文自然語言處理數(shù)據(jù)集，全面覆蓋知識圖譜、語言理解、語言生成、跨模態(tài)融合、NLP 應用系統(tǒng)等多個領(lǐng)域。也期待更多數(shù)據(jù)集作者能夠加入共建，共同推動中文信息處理技術(shù)的進步。
推出算力共享計劃！百度全力支持語言與知識技術(shù)開發(fā)者、研究人員
除數(shù)據(jù)外，算力是語言與知識技術(shù)發(fā)展中面臨的另一大挑戰(zhàn)。超大規(guī)模深度學習模型帶來顯著效果提升的同時，算力的需求也呈現(xiàn)出指數(shù)級的增長。算力的缺乏已經(jīng)成為了許多開發(fā)者、研究人員進行技術(shù)研發(fā)的一大瓶頸。
為此，百度正式發(fā)布了語言與知識算力共享計劃。通過AI STUDIO平臺，百度將提供算力支持，為語言與知識技術(shù)開發(fā)者助力。吳華表示，后續(xù)百度會邀請“千言”數(shù)據(jù)集的使用者，百度語言與知識開源開放的用戶以及更多的中文語言與知識技術(shù)開發(fā)者、研究人員免費使用這些算力。
傳承千年的中文鑄就了璀璨的華夏文明。在當下的人工智能時代，百度也希望與學術(shù)界、產(chǎn)業(yè)界攜手，共同推動中文信息處理技術(shù)的進步，以智能技術(shù)學習并傳承凝練于中文語言中的無盡寶藏。
