機器之心整理
參與：蛋醬、小舟
一堂為期三小時的手把手 AI 開發(fā)教學(xué)課程，讓開發(fā)者學(xué)到了什么？
2020 年，人工智能技術(shù)進入商業(yè)化落地的全新階段。對于入門不久的初級開發(fā)者或者轉(zhuǎn)型中小企業(yè)來說，如何最輕松、最高效地進行 AI 開發(fā)和部署？
2020 世界人工智能大會云端峰會是由上海市政府打造的國際頂級人工智能會議，于 7 月 9 日正式開幕。「開發(fā)者日」作為 WAIC 云端峰會主題論壇及特色活動，也是 WAIC 期間唯一面向 AI 開發(fā)者的專業(yè)活動。
在 7 月 11 日上午舉行的 2020 WAIC「開發(fā)者日百度公開課」上，機器之心聯(lián)合百度為開發(fā)者們提供了一堂 3 小時極致學(xué)習課程，來自百度 AI 的四位工程師為大家?guī)砹藦?NLP、CV 到零門檻 AI 開發(fā)平臺 EasyDL 的實戰(zhàn)經(jīng)驗分享。
本文對此次公開課的核心內(nèi)容進行了整理，感興趣的小伙伴可通過文后視頻學(xué)習。
如何使用 UNIT 搭建智能對話系統(tǒng)
首先是百度資深研發(fā)工程師、UNIT 平臺的技術(shù)負責人孫叔琦講述「如何使用 UNIT 平臺搭建智能對話系統(tǒng)」。
1.UNIT 平臺技術(shù)與服務(wù)全景
UNIT 平臺技術(shù)與服務(wù)全景。
最底層的核心技術(shù)平臺包含了知識建設(shè)與管理能力、預(yù)置技能與資源、核心任務(wù)式理解、對話系統(tǒng)框架層面的技術(shù)，以及語音和語義一體化集成技術(shù)。在基礎(chǔ)平臺之上，百度為智能客服、消費電子、企業(yè)服務(wù)、車載出行等常見的行業(yè)場景包裝了復(fù)用度較高的場景方案、行業(yè)方案，這些技術(shù)和方案都支持公有云部署、私有化部署，在一些特定的場景下還可以支持嵌入式的部署。在技術(shù)和方案的上方，是人才方面的生態(tài)服務(wù)，包括技術(shù)方案的顧問服務(wù)、培訓(xùn)認證服務(wù)、質(zhì)監(jiān)交互服務(wù)以及托管研發(fā)服務(wù)。
2.UNIT 平臺技術(shù)解析
孫叔琦首先進行了技術(shù)層面的講解。使用 UNIT 最方便快捷的方法就是利用其預(yù)置技能，大概分為三類：
一類是開發(fā)者可以拿來直接用于服務(wù)的資源，也就是「開箱即用」，包括天氣、智能問答等；
一類是為稍微有一些能力的開發(fā)者提供的高準確解析型對話技能，比如對話理解服務(wù)，開發(fā)者可以在對話理解的結(jié)果基礎(chǔ)上對接自己的系統(tǒng)；
一類是針對特定領(lǐng)域的輕定制需求，在某些場景下，對話技能需要面向具體業(yè)務(wù)定制才能滿足開發(fā)者的實際需要，UNIT 提供的這些技能，可供開發(fā)者進行小幅度修改以適配業(yè)務(wù)。
UNIT 的預(yù)置技能。
如果預(yù)置技能并不能夠滿足所有的需求，那么就需要開發(fā)者自己動手開發(fā)一些對話技能。下圖是對話系統(tǒng)定制的一般過程。
開發(fā)者在平臺上需要做的事情首先是定義對話任務(wù)，對話任務(wù)包括對話意圖的定義以及對話規(guī)則的定義，并針對所定義的對話任務(wù)提供知識，包括意圖的表述、意圖里面關(guān)鍵詞、詞槽的一些資源詞典以及對話規(guī)則里跟業(yè)務(wù)對接部分的一些資源提供進來，UNIT 平臺會自動地通過訓(xùn)練機器學(xué)習的方法以及一些配套的機制去生成開發(fā)者業(yè)務(wù)上的對話系統(tǒng)。
對話系統(tǒng)可大致分為兩類：任務(wù)式對話和問答對話。二者的區(qū)別是前者需要對對話的參數(shù)化進行精確的處理。任務(wù)式對話需要把一句話解析成意圖和詞槽這樣的參數(shù)化的形式，而問答對話需要最后的答案。所以問答式對話更傾向于做常見的業(yè)務(wù)問題的解答。
任務(wù)式對話中有一個非常關(guān)鍵的技術(shù)「任務(wù)式對話理解」。任務(wù)式對話理解技術(shù)強調(diào)的有兩點，首先是要提供專業(yè)的效果，第二是獲取成本要足夠低。對話理解技術(shù)可以把很長的請求解析成結(jié)構(gòu)化的表達形式，包括意圖、詞槽以及詞槽之間依賴關(guān)系，詞槽的規(guī)范值等等。
而開發(fā)中用到問答對話，是因為問答系統(tǒng)的接入門檻比較低，只需要提供簡單的問答資源，系統(tǒng)就可以工作。在此，孫叔琦重點介紹了對話式文檔問答和表格問答兩種處理技術(shù)。
UNIT 整合了文檔分析、整合了語義匹配、閱讀理解等等技術(shù)，為開發(fā)者帶來了端到端的對話式文檔問答技術(shù)。開發(fā)者可以直接提供業(yè)務(wù)文檔，經(jīng)過該技術(shù)的處理，直接生成針對文檔做問答的對話系統(tǒng)。該對話系統(tǒng)在無需整理 FAQ 的情況下，兩輪對話之內(nèi)即可解決 87% 的問題。
數(shù)據(jù)表格問答方面往往需要大量的預(yù)處理工作， UNIT 通過數(shù)據(jù)分析以及 NL2SQL 的技術(shù)，實現(xiàn)了結(jié)構(gòu)化知識問答。開發(fā)者提供結(jié)構(gòu)化數(shù)據(jù)表之后，即可針對數(shù)據(jù)表做問答，省去了整理數(shù)據(jù)庫、整理數(shù)據(jù)表格的步驟，直接就可以實現(xiàn)表格問答。
對話管理在開發(fā)者的業(yè)務(wù)中解決的是多輪對話的問題。在多輪對話問題中開發(fā)者的主要需求有幾種：
對話邏輯要嚴格的可控；
在一些細小、微觀邏輯上面需要盡量多的內(nèi)置；
在對話過程中希望和業(yè)務(wù)資源做互動，把業(yè)務(wù)資源接入進來，讓對話系統(tǒng)能夠完成業(yè)務(wù)上的事情；
可能還有一些更高層次的需求，即讓對話變得智能，可以自動地學(xué)習和成長。
針對這四項需求，對話管理的框架的整體設(shè)計如下圖。
UNIT 設(shè)計了語音語義一體化的集成框架，通過語音語義一體化的中控，將百度的語音能力整合進來，在語音的接口上通過端到端地輸入語音、輸出語音。整合各項技術(shù)的同時，還針對語音場景所常見的異常情況提供一些預(yù)置處理。
3.UNIT 平臺輸出模式與生態(tài)服務(wù)
整個系統(tǒng)開發(fā)完成后，怎么和業(yè)務(wù)系統(tǒng)、和相關(guān)服務(wù)對接呢？下圖展示了 UNIT 對外輸出模式。
面向入門階段的開發(fā)者，以及自研系統(tǒng)和需要托管研發(fā)的業(yè)務(wù)方，UNIT 都提供了一系列生態(tài)服務(wù)能力，包括培訓(xùn)、認證等，保證各式各樣的開發(fā)者均可非常順利完成對話系統(tǒng)。
4.UNIT 應(yīng)用落地情況
UNIT 現(xiàn)在主要的應(yīng)用落地情況，包括四個大的維度：
第一個維度是智能客服，即通過智能 IVR 的方式實現(xiàn)業(yè)務(wù)咨詢、業(yè)務(wù)辦理等需求；
第二個維度是消費電子，主要支持的是手機系統(tǒng)以及 App 里面的語音助手等服務(wù)；
第三個維度是車載出行；
第四個維度是企業(yè)服務(wù)，包括會議管理、智能 BI、智能 OA、服務(wù)機器人等。
飛槳視覺技術(shù)解析與應(yīng)用
百度深度學(xué)習平臺飛槳（PaddlePaddle）資深研發(fā)工程師杜宇寧主要介紹了飛槳視覺技術(shù)解析與應(yīng)用。
上圖為飛槳平臺的全景圖，主要由飛槳的開源深度學(xué)習平臺和飛槳企業(yè)版兩部分組成。
飛槳開源深度學(xué)習平臺主要包含四個部：核心框架、基礎(chǔ)模型庫、端到端的開發(fā)套件和工具組件。核心框架包括開發(fā)、訓(xùn)練和推理三部分，奠定了整個飛槳面向?qū)W術(shù)研究和產(chǎn)業(yè)應(yīng)用的基礎(chǔ)。基礎(chǔ)模型庫目前覆蓋自然語言處理、計算機視覺、推薦、語音等多個方向，算法總數(shù)達到 146 個，旨在助力開發(fā)者二次開發(fā)。端到端的開發(fā)套件在基礎(chǔ)模型庫的升級，對于 AI 典型的任務(wù)，打通模型的訓(xùn)練到推理部署的全流程，有助于開發(fā)者落地應(yīng)用 AI 技術(shù)。
杜宇寧重點分享了 PaddleCV 模型庫以及幾個典型的端到端開發(fā)套件。PaddleCV 是飛槳針對計算機視覺領(lǐng)域打造的一個模型庫，覆蓋了圖像分類和目標檢測、圖像分割、視頻分類和動作定位、文本識別、度量學(xué)習、關(guān)鍵點檢測、圖像生成、3D 視覺以及模型壓縮這些方面。提供了我們常見的這些場景的模型訓(xùn)練方法和使用的預(yù)訓(xùn)練模型。在上述基礎(chǔ)上又打造了一系列端到端的開發(fā)套件，包括 PaddleClas 的圖像分類套件、PaddleDetection 目標檢測套件、PaddleOCR 的文本識別套件等等。
飛槳近期推出的 PaddleClas 圖像分類套件是面向工業(yè)界和學(xué)術(shù)界的圖像分類任務(wù)工具集。PaddleClas 的模型庫非常豐富，包括了 23 個系列的分類網(wǎng)絡(luò)以及訓(xùn)練配置，提供了 117 個模型在 ImageNet 數(shù)據(jù)集上的預(yù)訓(xùn)練模型和性能評估，這也是目前所知的業(yè)界豐富度最高的分類代碼庫。
此外 PaddleClas 還提供了一個 SSLD 蒸餾方案以及 8 種數(shù)據(jù)增廣方法，幫助使用者提升圖像分類的效果。SSLD 蒸餾方案已將 ResNet 50 系列模型的精度提升到了 82.4%，是目前開源里面精度最高的 ResNet50 模型。最新的代碼庫中，該模型的精度已經(jīng)進一步從 82.4% 提升到 83%。
PaddleClas 的 github 地址：https://github.com/PaddlePaddle/PaddleClas
PaddleDetection 套件則提供了多種模塊化設(shè)計的檢測性模塊，預(yù)置了多種數(shù)據(jù)增強方式、組件以及損失函數(shù)，可與產(chǎn)業(yè)應(yīng)用無縫銜接。在該套件中，對 YOLOv3 模型進行深度優(yōu)化，精度提升至 43.6%，與原作比，提升 10.6%。此外，針對移動端，嵌入式這些端側(cè)應(yīng)用，提供了基于 SSD（驍龍 845 預(yù)測耗時 41ms，mAP 16.6%）、YoloV3（驍龍 845 預(yù)測耗時 110ms，mAP 25.9%）、Faster RCNN（驍龍 845 預(yù)測耗時 376ms，mAP 30.2%）的不同優(yōu)化方案，以滿足不同場景對速度和精度的要求。此外它提供了 PaddleSlim 模型壓縮和 Paddle Inference 的集成，讓檢測任務(wù)實現(xiàn)在企業(yè)中輕松部署，可支撐當前工業(yè)質(zhì)檢、遙感圖像檢測、無人巡檢等多方面的產(chǎn)業(yè)應(yīng)用。
PaddleDetection 的 github 地址：https://github.com/PaddlePaddle/PaddleDetection
PaddleOCR 套件是百度推出的旨在打造豐富領(lǐng)先實用的文本識別模型的工具庫。目前 PaddleOCR 主要開源包括了兩種業(yè)界領(lǐng)先的檢測算法「EAST」和「DB」，以及包括 CRNN 在內(nèi)的四種文本識別算法。此外還打造一個大小僅為 8.6M 的超輕量級中文 OCR 識別模型，和一款效果更好的通用中文 OCR 模型。目前，百度自研的檢測算法 SAST 以及識別算法 SRN 也在適配過程中，近期也將在 PaddleOCR 內(nèi)開源。
下面介紹了一下 8.6M 超輕量級中文 OCR 模型。超輕量模型的特點就是運行時顯存 / 內(nèi)存占用更小，計算量更少，從而使用更加方便。
上面表格的預(yù)測耗時沒有包括預(yù)處理時間，近期 PaddleOCR 項目給出最新的超輕量中文模型（8.6M）在各平臺的預(yù)測部署方案以及預(yù)測耗時 benchmark 如下：
當然超輕量模型，模型本身小的話，效果上面不是非常的理想。所以開發(fā)者又進一步發(fā)布了基于 ResNet 系列通用中文 OCR 識別模型，這個模型是比超輕量級模型有更好的效果。
PaddleOCR 的 github 地址：https://github.com/PaddlePaddle/PaddleOCR
接下來簡要介紹一下飛槳在其他視覺任務(wù)上的套件。首先看一下圖像分割套件，PaddleSeg。和 PaddleDetection 一樣，PaddleSeg 從數(shù)據(jù)算法的支持，包括訓(xùn)練優(yōu)化等方面其實是非常完備的，包括工業(yè)級部署，到一些實際案例等，都提供了很多的支持。通過這個圖可以看到和 PaddleDetection 一樣，有強大的部署能力。
針對模型壓縮飛槳推出了 PaddleSlim 的模型壓縮庫，它支持模型的裁剪、量化、蒸餾、搜索等多個方向。其主要特色包括三點：
在百度業(yè)務(wù)中有大量的使用；
用戶自己定義的一些模型可以方便地使用它的工具進行模型壓縮，
在一些標準的，像圖像分類、目標檢測等這些問題上做了一些比較全的驗證。
PaddleSeg 的 github 地址：https://github.com/PaddlePaddle/PaddleSeg
PaddleSlim 的 github 地址：https://github.com/PaddlePaddle/PaddleSlim
飛槳模型庫的 github 地址：https://github.com/PaddlePaddle/models
最后，杜宇寧簡單介紹了應(yīng)用案例：無人電力巡檢項目。
飛槳零門檻 AI 開發(fā)平臺 EasyDL
接下來，百度 AI 技術(shù)生態(tài)部高級產(chǎn)品經(jīng)理子季和百度 AI 與數(shù)據(jù)平臺部資深研發(fā)工程師趙云進行了零門檻 AI 開發(fā)平臺 EasyDL 的技術(shù)實踐分享。
隨著人工智能技術(shù)在各行各業(yè)的落地應(yīng)用，AI 模型的定制開發(fā)需求也越來越普遍。一個定制模型的開發(fā)，往往涉及由諸多模塊組成的復(fù)雜機器學(xué)習系統(tǒng)，包括從數(shù)據(jù)采集、數(shù)據(jù)標注、特征提取、模型訓(xùn)練，到訓(xùn)練資源的管理、流程管理工具、模型效果評估等等，最終還包括預(yù)測服務(wù)的部署、預(yù)測服務(wù)監(jiān)控等。EasyDL 定位為零門檻 AI 開發(fā)平臺，就是為了解決各行各業(yè)在 AI 落地應(yīng)用中的此類問題。
EasyDL 整體思路與產(chǎn)品架構(gòu)。
上圖展示了 EasyDL 的整體思路與產(chǎn)品架構(gòu)：在「輸入部分」，企業(yè)開發(fā)者能夠輸入圖片、文本、視頻、音頻各類數(shù)據(jù)集，通過 EasyDL 平臺進行加工、學(xué)習、部署和服務(wù)之后，即可完成最終所需的 AI 預(yù)測服務(wù)輸出，比如公有云 API 的形式、設(shè)備端 SDK 的形式、軟硬一體的形式或者本地服務(wù)器部署的形式。在這樣的大框架里面，EasyDL 把最復(fù)雜的模塊封裝在一個簡單的系統(tǒng)操作平臺上，讓 AI 落地應(yīng)用的門檻變得更低。
面向不同 AI 基礎(chǔ)的用戶、不同行業(yè)的用戶，EasyDL 也推出了不同的版本。算法基礎(chǔ)較為薄弱的 AI 初學(xué)者，可使用 EasyDL 經(jīng)典版，其定位為零算法基礎(chǔ)定制高精度 AI 模型，能夠?qū)崿F(xiàn)快速落地應(yīng)用；專業(yè)的算法工程師、開發(fā)者，可使用 EasyDL 專業(yè)版，專業(yè)版是一個可編程、深度開發(fā) AI 模型的開發(fā)平臺，能滿足進一步調(diào)參需求；同時為了解決行業(yè)里面的難題，EasyDL 也推出了行業(yè)版本，比如目前的 EasyDL 零售版。
EasyDL 全景圖。
EasyDL 是一個端到端一站式 AI 開發(fā)平臺，集成了核心智能數(shù)據(jù)服務(wù)、開發(fā)與訓(xùn)練、端云一體服務(wù)部署三大模塊。
1、核心智能數(shù)據(jù)服務(wù)
智能數(shù)據(jù)服務(wù) EasyData 是百度在 2020 年 4 月份正式推出的業(yè)界首個專注于 AI 開發(fā)領(lǐng)域智能數(shù)據(jù)的服務(wù)，包含數(shù)據(jù)采集、數(shù)據(jù)清洗、數(shù)據(jù)標注和數(shù)據(jù)擴充幾項功能模塊。
智能標注是該服務(wù)中的一項重點功能，目前支持物體檢測、圖像分割、文本分類這三類常見任務(wù)的場景。整體流程為：標注少量數(shù)據(jù)、啟動智能標注、難例標注，完成一鍵標注。此外，EasyDL 利用百度獨創(chuàng)的 Hard Sample 主動學(xué)習挖掘算法，可以針對不同任務(wù)進行針對性適配，從而解決檢測、分割、文本等多場景的難例挖掘的問題。從效果上看，可使用戶在僅標注數(shù)據(jù)集大概 30% 左右數(shù)據(jù)量的條件下，即可訓(xùn)練出標注全量數(shù)據(jù)同等效果的模型。
2、開發(fā)與訓(xùn)練模塊
開發(fā)與訓(xùn)練模塊預(yù)置了百度自有的超大規(guī)模視覺預(yù)訓(xùn)練模型和 ERNIE NLP 預(yù)訓(xùn)練模型，集成了自動超參搜索、自動數(shù)據(jù)增強等多種先進訓(xùn)練機制和多種場景化算法和網(wǎng)絡(luò)，同時提供了豐富的、完善的模型評估方案，并且支持數(shù)據(jù)閉環(huán)和持續(xù)訓(xùn)練。
在這個工具的基礎(chǔ)之上，EasyDL 也提供了多種靈活的開發(fā)方式，如零代碼建模、Notebook 開發(fā)、腳本調(diào)參等開發(fā)方式，方便各類開發(fā)者基于 EasyDL 快速完成 AI 服務(wù)的模型訓(xùn)練和服務(wù)獲取。
3、端云一體服務(wù)部署
目前 EasyDL 整體支持公有云 API、本地服務(wù)器部署、設(shè)備端 SDK 和軟硬一體產(chǎn)品這四種服務(wù)部署形態(tài)。
實際上，EasyDL 目前已經(jīng)成為應(yīng)用和落地最為廣泛的 AI 開發(fā)平臺，覆蓋了工業(yè)、農(nóng)業(yè)、交通運輸、政務(wù)、互聯(lián)網(wǎng)等各行業(yè)的落地應(yīng)用。更多落地應(yīng)用案例可以在 EasyDL 官網(wǎng) ai.baidu.com/easydl 找到。
多年來，百度深入布局人工智能技術(shù)各領(lǐng)域，開發(fā)者也一直是百度極為重視的力量。目前，百度飛槳累積開發(fā)者數(shù)量已超過 194 萬，服務(wù)企業(yè)數(shù)量達到 84000 家，發(fā)布模型數(shù)量已超過 23 萬個。面對正在到來的人工智能全面落地期，百度將持續(xù)開放更多 AI 能力，助力企業(yè)和開發(fā)者進行更加便捷高效的人工智能開發(fā)。
