2016 年，百度 PaddlePaddle 打響了國產深度學習框架開源的第一槍。
2019 年 4 月，在 Wave Summit 深度學習開發者峰會上，首次發布了PaddlePaddle 的中文名“飛槳”，開始強調自己更適合中國開發者，以及更加專注于深度學習模型的產業實踐。與此同時，飛槳的發展開始提速。
時間來到 2020 年，這一年是國產深度學習框架的高光時刻，作為國產領頭羊的飛槳動作頻頻，不斷更新升級。
2021 年 3 月，百度正式推出飛槳框架 2.0 正式版，實現了一次跨時代的升級。如今，在 GitHub 上，飛槳已收獲Star數量達到了14.6k，被越來越多的開發者所使用。
從開發、訓練到部署：飛槳框架 2.0 從“更新升級”到“全面換代”
飛槳作為我國首個開源開放的深度學習平臺，想要保持自己的地位，必須要有自己獨特的優勢。經過多年的更新迭代，飛槳已經集開發便捷的核心框架、超大規模深度學習模型訓練、多端多平臺部署的高性能推理引擎和覆蓋多領域的產業級模型庫四大核心技術于一體，始終保持技術領先與功能完備。如今飛槳已凝聚 265 萬開發者，服務 10萬多家企業，創建了超過 34 萬個模型，幫助越來越多的行業完成AI賦能，實現產業智能化升級。
與之前的版本迭代相比，此次 2.0 版本的發布對于飛槳來說，不僅僅是一次常規升級，而是一次“基礎設施”的全面更新換代!這一次，百度從產業實踐的全流程出發，對 深度學習模型的開發、訓練、部署進行了整體優化，進一步加速 AI 應用的大規模落地。
一、更高效地開發 AI 模型
1、成熟完備的動態圖模式
由于命令式編程模式(動態圖)對開發者的友好性，飛槳于 2019 年初也在推進動態圖功能。此次升級，飛槳將默認的開發模式升級為動態圖，這標志著飛槳的動態圖功能已經成熟完備。據了解，飛槳 框架2.0 支持用戶使用動態圖完成深度學習相關領域全類別的模型算法開發。動態圖模式下，開發者可以隨時查看變量的輸入、輸出，方便快捷的調試程序，帶來更好的開發體驗。
為了解決動態圖的部署問題，飛槳提供了全面完備的動轉靜支持，在 Python 語法支持覆蓋度上達到領先水平。開發者在動態圖編程調試的過程中，僅需添加一個裝飾器，即可無縫平滑地自動實現靜態圖訓練或模型保存。同時飛槳框架 2.0 還做到了模型存儲和加載的接口統一，保證動轉靜之后保存的模型文件能夠被純動態圖加載和使用。
在飛槳框架 2.0 版本上，官方支持的動態圖算法數量達到了 270+，涵蓋計算機視覺、自然語言處理、語音、推薦等多個領域，并且在動態圖的訓練效率和部署效率方面都有所提升。2.0版本的動態圖支持了自動混合精度和量化訓練功能，實現了比靜態圖更簡潔靈活的混合精度訓練接口，達到媲美靜態圖的混合精度和量化訓練效果。
同時，為了推進各個主流場景的產業級應用，飛槳的系列開發套件也隨飛槳框架 2.0 完成了升級，全面支持動態圖開發模式。
2、API體系全新升級
API 是用戶使用深度學習框架的直接入口，對開發者使用體驗起著至關重要的作用。飛槳框架 2.0 對 API 體系進行了全新升級，包括體系化的梳理以及簡潔化的處理，而且飛槳框架 2.0的 新API 體系完全兼容歷史版本，同時飛槳提供了升級工具，幫助開發者降低升級遷移成本。
體系化：飛槳重新梳理和優化了 API 的體系結構，使其更加清晰、科學，讓廣大開發者可以更容易地根據開發使用場景找到想要的 API。此外可以通過 class 和 functional 兩種形式的 API 來模塊化的組織代碼和搭建網絡，提高開發效率。同時，API 的豐富度有了極大的提升，共計新增 API 217 個，優化修改 API 195 個。
簡潔化：提供更適合低代碼編程的高層 API。像數據增強、建立數據流水線、循環批量訓練等可以標準化的工作流程，以及一些經典的網絡模型結構，在飛槳框架2.0中，都被封裝成了高層 API。基于飛槳高層 API，開發者只需10行左右代碼就可以編寫完成訓練部分的程序。最為重要的是，高層 API 與基礎 API 采用一體化設計，即在編程過程中可以同時使用高層 API 與基礎 API，讓用戶在簡捷開發與精細化調優之間自由定制。
二、更高效地訓練AI模型
1、訓練更大規模的模型
飛槳的英文名 Paddle 其實就是并行分布式訓練學習的縮寫，因此分布式訓練可以說是飛槳與生俱來的特性。飛槳支持包括數據并行、模型并行、流水線并行在內的廣泛并行模式和多種加速策略。在飛槳框架2.0 版本中，新增支持了混合并行模式，即數據并行、模型并行、流水線并行這三種并行模式可以相互組合使用，更高效地將模型的各網絡層甚至某一層的參數切分到多張 GPU 卡上進行訓練，從而實現支持訓練千億參數規模的模型。
2、業內首個通用異構參數服務器架構
飛槳框架2.0推出了業內首個通用異構參數服務器技術，解除了傳統參數服務器模式必須嚴格使用同一種硬件型號Trainer節點的枷鎖，使訓練任務對硬件型號不敏感，即可以同時使用不同的硬件進行混合異構訓練，如CPU、GPU(也包括例如V100、P40、K40的混合)、AI 專用加速硬件如昆侖芯片等，同時解決了搜索推薦領域大規模稀疏特征模型訓練場景下，IO 占比過高導致的計算資源利用率過低的問題。通過異構參數服務器架構，用戶可以在硬件異構集群中部署分布式訓練任務，實現對不同算力的芯片高效利用，為用戶提供更高吞吐，更低資源消耗的訓練能力。
通用異構參數服務器架構之所以被稱之為通用，主要在于其兼容支持三種訓練模式：
1、可兼容全部由CPU機器組成的傳統參數服務器架構所支持的訓練任務。
2、可兼容全部由GPU或其他AI加速芯片對應機器組成的參數服務器，充分利用機器內部的異構設備。
3、支持通過CPU機器和GPU或其他AI加速芯片對應機器的混布，組成機器間異構參數服務器架構。
異構參數服務器擁有非常高的性價比，如下圖所示，僅用兩個CPU機器加兩個GPU機器就可以達到與4個GPU機器相仿的訓練速度，而成本至少可以節約35%。
三、更廣泛地部署AI模型到各種硬件
AI產業的廣泛應用離不開各種各樣的人工智能硬件的繁榮，當前包括英特爾、英偉達、ARM等諸多芯片廠商紛紛開展對飛槳的支持。飛槳還跟飛騰、海光、鯤鵬、龍芯、申威等 CPU 進行深入適配，并結合麒麟、統信、普華操作系統，以及百度昆侖、海光 DCU、寒武紀、比特大陸、瑞芯微、高通、英偉達等 AI 芯片深度融合，與浪潮、中科曙光等服務器廠商合作形成軟硬一體的全棧AI基礎設施。當前飛槳已經適配和正在適配的芯片或 IP達到 29款，處于業界領先地位。
自主可控的必要性：TensorFlow、PyTorch 并不完美
很多人對國產深度學習框架的發展抱有懷疑態度，認為這些工作只不過是在拾人牙慧，重復造輪子，而且 AI 開源框架的搭建是一項費時費力的龐大工程。如果沒有超越現有主流框架的想法，去重復造一套沒有技術創新的輪子，“性價比”似乎不高，對技術人員來說吸引力也不大。
然而 AI 的大規模落地仍然處在起步階段，深度學習技術依然在不斷發展，復雜程度也在不斷提高，而 TensorFlow、PyTorch 等國外框架并非沒有提升的空間，因此飛槳等國產框架依然有很大的機會。
業內的一位算法工程師表示，TensorFlow 對稀疏模型的處理能力，大規模分布式計算能力，以及在 Embedding 內存利用率上，仍然有提升空間，而且 TensorFlow 2.0 API 混亂的問題也亟待解決;而 PyTorch 也是類似，主要關注解決密集模型，對稀疏模型的關注度欠缺。
此外，飛槳免費開放了很多預訓練模型，可以直接在產業界落地，因此對于小型企業來說更有利，成本更低，同時也能取得不錯的效果。由于 AI 正在從云端走向邊緣端，而飛槳對多芯片平臺的適配和支持，也帶了很大的部署優勢。
與此同時，百度也在加大構建飛槳社區的扶持，因此中國開發者也可以獲得更及時、更個性化的支持。
今年 3 月美國國家人工智能安全委員會(the National Security Commission on Artificial Intelligence，NSCAI)發布的一份報告，提出了對于總統拜登、國會及企業和機構的數十項建議，以期壓制中國 AI 的發展。這也說明了構建中國自主可控核心技術棧的重要性和必要性。
新加坡工程院院士、IEEE Fellow 顏水成在CSDN《2020-2021 中國開發者調查報告》中點評道“以飛槳為代表的國產框架已經在快速崛起，其市場占有率已經不可忽視。”
2021 年，基于飛槳的企業級的開發工具庫數量越來越多，內容越來越豐富，加入飛槳生態社區的用戶越來越多。有著先發優勢的百度，如今在 AI 基礎設施這一領域已經走得更遠，也將走得更穩。
