【編者按】在開源與人工智能的燦爛星河里，賈揚清的名字都格外地耀眼。因為導(dǎo)師 Trevor Darrell 教授的一句“你是想多花時間寫一篇大家估計不是很在意的畢業(yè)論文，還是寫一個將來大家都會用的框架？”，學(xué)生賈揚清一頭扎進(jìn)了創(chuàng) Caffe 的世界。Caffe 成了賈揚清的代表作，而賈揚清的開源與 AI 征途還將走得更遠(yuǎn)。
采訪 | 劉韌，云算科技董事長、《知識英雄》作者、DoNews 創(chuàng)始人
作者 | 李欣欣 劉韌 周揚 責(zé)編 | 唐小引
出品 | 《 新程序員 》編輯部
2013 年 6 月，伯克利大學(xué)。28 歲的賈揚清（見圖 1）正在寫 Decaf（Caffe 的前身）。3 個月后，賈揚清博士畢業(yè)，此刻，他在和伯克利心理學(xué)系的 Thomas Griffith 教授合作，研究一個心理學(xué)課題──人類在個人成長過程中是如何形成“類別”概念的。研究中，賈揚清用一個概率框架來表達(dá)人的行為，但從圖像中提取到的人的行為特征較弱，很難推導(dǎo)出完整的結(jié)論。
圖 1 伯克利時期的賈揚清
一天，賈揚清看到，一篇獲得 2012 年 ILSVRC 比賽第一名的論文“ Advances in neural information processing systems”，提到深度學(xué)習(xí) Ale.NET 模型，用 Convolutional Neural Network（卷積神經(jīng)網(wǎng)絡(luò)，簡稱 CNN）技術(shù)，擊敗了其它非神經(jīng)網(wǎng)絡(luò)的算法，只用兩塊 GPU 即可替代此前 google 1 萬 CPU 方案。一臺機(jī)器頂一萬臺機(jī)器，且錯誤率從 25%降到 15%。這篇論文，一石擊水，震驚行業(yè)。此前，神經(jīng)網(wǎng)絡(luò)一直不被業(yè)內(nèi)人看好。
賈揚清受到啟發(fā)，思考著將論文里的 CNN 提取特征技術(shù)，運用到他手頭的心理學(xué)項目研究上。于是，賈揚清找到 Alex Krizhevsky（AlexNet 模型的作者之一），問他是否可以分享 AlexNet 的源代碼？Alex 這樣回復(fù)：抱歉，我開了公司，正在創(chuàng)業(yè)，因知識產(chǎn)權(quán)問題，無法直接給代碼，但你在研究過程中，遇到問題時，可隨時問我。
恰在此時，賈揚清得到 NVIDIA 的學(xué)術(shù)捐贈計劃，收到了一塊 K20 的 GPU（見圖 2），對學(xué)生來說，“GPU 是很貴的！”于是，正在寫畢業(yè)論文的賈揚清，動手?jǐn)€了一臺機(jī)器，利用空閑時間，復(fù)現(xiàn) AlexNet 框架，用以提取圖像中的特征。
圖 2 最早做框架的 GPU
此時的賈揚清每日搭乘地鐵，去 Google 公司實習(xí)。坐在地鐵座位上，賈揚清打開電腦，攤在雙腿上，見縫插針地繼續(xù)寫框架。作為 GPU 的初學(xué)者，萬事開頭難，但賈揚清沉迷其中，“寫代碼可能和玩游戲上癮差不多。”“我花在編程上的時間從 20%、40%、80%……逐漸遞增。”在 Google，賈揚清每天都要喝數(shù)杯咖啡，“這樣不好”，賈揚清把正寫著的框架命名為 Decaf，是想警醒自己，戒咖啡。
此時，賈揚清的任務(wù)清單里有：⒈博士畢業(yè)論文；⒉心理學(xué)研究課題；⒊找工作；⒋復(fù)現(xiàn) AlexNet 框架。比起前三項任務(wù)，賈揚清把更多的時間花在了最后一項，寫論文的時間被嚴(yán)重擠壓。他找導(dǎo)師 Trevor Darrell（計算機(jī)科學(xué)家、伯克利教授）尋求建議，導(dǎo)師只問了一個問題：“你是想多花時間寫一篇大家估計不是很在意的畢業(yè)論文呢？還是多花時間寫一個將來大家都會用的框架？”
導(dǎo)師的話鼓舞了賈揚清，他把論文擱在了一邊，一頭扎進(jìn) Decaf。“導(dǎo)師總能教會我，分清主次。”
賈揚清寫好了腳手架，小規(guī)模“跑起來”后，他把 Decaf 放到了伯克利的小組里，讓同學(xué)們試用，大家都覺得“還挺好用的” 。Evan Shelhamer、Jonathan Long、Jeff Donahue、Sergio Guadarrama 和賈揚清一拍即合，決定組成一個“核心小團(tuán)伙”，在日常科研和工程工作以外，一起開發(fā) Decaf。很快，“小團(tuán)伙”復(fù)現(xiàn)出 AlexNet 模型。
Decaf 需要基于 cuda-convnet 來訓(xùn)練，但是通過 Decaf 驗證，深度學(xué)習(xí)特征能夠利用學(xué)習(xí)范例進(jìn)行深入實驗，大家覺得，干脆二次開發(fā)，做成一個完整的深度學(xué)習(xí)框架，讓它成為通用又干凈的 AI 框架工具。
因為 GPU 飛快的速度，賈揚清忖思著把 Decaf 改為 Caffe，伯克利小組的同學(xué)們更喜歡 Caffe 的叫法。于是，Decaf 更名為 Caffe。兩個月后，Caffe 寫完了。賈揚清特意跟導(dǎo)師申請了一筆費用，買來一臺冰滴式咖啡機(jī)，放在研究室。此后，Evan Shelhamer 經(jīng)常給大家做咖啡喝，這導(dǎo)致本想戒掉咖啡的賈揚清“最終也沒能戒掉咖啡”，大家索性把對外接洽咨詢工作的郵箱也改為了 caffe-coldpress。
圖 3 賈揚清最早用來開發(fā) Caffe 的電腦主機(jī)
賈揚清面臨一個難題：該用哪種方式公布 Caffe？是像 Alex Krizhevsky 一樣成立創(chuàng)業(yè)公司，商業(yè)化運作？還是作為程序庫，純粹支持科研？還是開源？賈揚清舉棋不定，而其他 Caffe 開發(fā)者的意見也各有傾向，莫衷一是。
賈揚清有心開源 Caffe。他想到過去幾個月，若是有一個公開的深度學(xué)習(xí)框架，能獲取代碼和算法的細(xì)節(jié)，自己就不必再浪費精力復(fù)現(xiàn)。而且，“當(dāng)學(xué)生時，我內(nèi)心深處就有‘做出一個東西，放到開源上’的愿望”，“我在伯克利所用到的代碼，絕大多數(shù)都是開源的”，“只有把市場做大，大家才可能都有蛋糕吃”，“開源，并不會抹滅個人的技術(shù)能力”，“反正，買咖啡喝，我還是買得起的！夫復(fù)何求呢。”
該如何讓大家同意呢？“這可比寫 Caffe 難多了”。賈揚清決定，挨個找核心開發(fā)的同學(xué)們談。有的同學(xué)好談，有的則難辯，賈揚清急了，脫口說出氣話“這是我寫的框架，所以我應(yīng)該有決定權(quán)！”的時候也有，前后談了 7 天，最后，所幸同學(xué)們都同意 Caffe 開源。
2013 年 12 月，Caffe 放到 Github 上，正式開源。得知消息的 Alex Krizhevsky 也很開心。賈揚清的導(dǎo)師建議把伯克利大學(xué)寫在 Caffe 的說明上，賈揚清也很樂意，“Caffe 以伯克利大學(xué)的名義開源，大家很驕傲，覺得為母校爭光了。”
在 Google 實習(xí)時，賈揚清拿到了 Google 的正式 Offer，只等畢業(yè)后入職。不再想找工作的賈揚清完全放飛，索性畢業(yè)論文也不寫了，最初研究的心理學(xué)課題，也不了了之。
Caffe 開始吸引用戶和開發(fā)人員，借由 Caffe 光環(huán)，賈揚清結(jié)識了許多業(yè)內(nèi)人士。兩個月后，賈揚清意外收到英偉達(dá)公司的郵件，英偉達(dá)提出，將為伯克利研究所提供計算的資源，派工程師和賈揚清他們一起做框架優(yōu)化，提升 Caffe 的應(yīng)用穩(wěn)定性。賈揚清同意合作，他看中英偉達(dá)在系統(tǒng)側(cè)的優(yōu)勢。接下來的一年，汲取各方的力量的 Caffe，走在加速發(fā)展的路上。
Google 工作之余，賈揚清繼續(xù)和伯克利的同事們一起維護(hù) Caffe。賈揚清開始重新設(shè)計 Caffe 的一些結(jié)構(gòu)，使它更模塊化，更能適配各種環(huán)境下部署。有開源社區(qū)經(jīng)驗的 Evan Shelhamer 主導(dǎo)和各方進(jìn)行合作；Jeff Donahue 幫助 Pinterest 建立了一個深度學(xué)習(xí)系統(tǒng)；Jonathan Long 給 Caffe 提供了包括 Python/ target=_blank class=infotextkey>Python 接口在內(nèi)的諸多新特性……在社區(qū)建設(shè)上，由 GitHub 和 caffe-users 郵件組一起組成了松散、自由的組織，依靠 Caffe 的使用者們自發(fā)管理。
做 Caffe，賈揚清經(jīng)歷了從 0~1 的完整項目經(jīng)驗積累，“Caffe 應(yīng)該算是我第一個 C++ 的項目。”整體上“對我的鍛煉很大，從組團(tuán)開發(fā)、到如何推廣、如何獲取反饋、如何改進(jìn)流程，我親歷了每個環(huán)節(jié)。”離開伯克利的第二年 5 月，賈揚清才終于完成了博士畢業(yè)論文。
小鎮(zhèn)青年上清華
1984 年，賈揚清生在紹興上虞縣。父母都是中學(xué)語文老師。1 歲時，賈揚清最愛聽故事，媽媽常拿著圖畫書給他講故事。3 歲時，賈揚清已識兩三百個字，常常捧著一本書，讀得入迷。5 歲，父母帶他去新華書店，賈揚清挑了《安徒生童話》，媽媽驚訝地問：書里的字，你能看懂嗎？賈揚清點了點頭。
賈揚清一家人住在校園，安寧平靜，生活規(guī)律。6 點，父母起床，去守早自習(xí)，賈揚清也跟著起來了。小學(xué)六年級，賈揚清從父母所在的學(xué)校插班到上虞市中心學(xué)校，新環(huán)境，賈揚清感到好奇之余也有點自卑感，他更加努力學(xué)習(xí)，想通過成績來證明自己。中考，賈揚清以上虞區(qū)第三名的成績考進(jìn)春暉中學(xué)。
初二，流行學(xué)計算機(jī)，盡管學(xué)校有機(jī)房，賈揚清父母還是花 7000 多元，給他買了臺奔騰Ⅱ。賈揚清憑感覺在機(jī)器上搗鼓，試裝各種軟件、玩掃雷游戲……有一次，賈揚清去同學(xué)家玩，看到同學(xué)用鼠標(biāo)在計算機(jī)屏幕上的圖形界面上點來點去，并向他演示自己在學(xué)編程，賈揚清覺得好玩。回家后，他摸索著用 BASIC 寫出一個小程序──在方框里輸入一個年份數(shù)字，屏幕上顯示出年份所對應(yīng)的生肖。
計算機(jī)讓賈揚清覺得“可以創(chuàng)造出一個新東西。”“很開心。”但賈揚清聽父母話，為高考的目標(biāo)，仍把精力放在學(xué)習(xí)上。初中，語文老師教同學(xué)們寫文學(xué)評論，賈揚清把《論<西廂記>里詩歌的描寫和藝術(shù)》當(dāng)選題，老師很詫異，跟賈揚清的媽媽說：讓孩子看《西廂記》是否太早了？媽媽則說“看吧，沒關(guān)系。”父母教語文，賈揚清家里文學(xué)類書多，他常隨意從父母的書架上抽出一本書，翻看。拿下一本錢鐘書的《談藝錄》，翻了翻，當(dāng)然“看不懂，又放了回去。”賈揚清看《西方文學(xué)史》《荷馬史詩》，感覺“外面的世界和我生活的小城是不一樣的。”賈揚清看《十四行詩》發(fā)現(xiàn)，西方的詩歌講究韻腳，類似中國古代詩歌平仄。“居然可以相互印證，很有意思……”賈揚清一直對文學(xué)感興趣，但他選了理科。“比起文科，理科可以靠自己的努力，走得更遠(yuǎn)一點。”又或許，受當(dāng)時人人都說“學(xué)好數(shù)理化，走遍天下都不怕”的大環(huán)境影響。
高中，賈揚清拿到了全國物理和化學(xué)競賽兩個一等獎，英語也獲得了綜合能力二等獎。數(shù)學(xué)不突出，父母給他買了“洪恩在線”光盤，大量刷題。“不會做的題，也會買一整本練習(xí)題來做，直到熟悉運用為止。”賈揚清數(shù)學(xué)成績逐漸好起來，獲得了全國數(shù)學(xué)聯(lián)賽二等獎。
2002 年，高考，物理試卷的最后一題，賈揚清失誤了，痛失 27 分！結(jié)果，考了 686 分。賈揚清心之所向是清華計算機(jī)系，在跟清華招生辦老師討論后，穩(wěn)妥起見，第一志愿上，填寫了“清華大學(xué)自動化系”。當(dāng)賈揚清打開通知書，看到封面寫著“清華是你一生的驕傲”這句話時，很開心。
開啟人工智能研究
清華圖書館早上 8 點開門，7 點多，賈揚清已和幾位要好的同學(xué)站在門前排隊等待自習(xí)。班里 27 個同學(xué)，賈揚清成績很快又排到了前幾名。本科四年，除了學(xué)習(xí)，賈揚清的生活還是學(xué)習(xí)。課余，賈揚清把微積分當(dāng)作研究課題，做《吉米多維奇數(shù)學(xué)分析習(xí)題集》。
清華信息學(xué)院由自動化系、計算機(jī)系和電子系組成，三個系所學(xué)基礎(chǔ)科目相同，計算機(jī)系偏理論和軟件。“自動化系本質(zhì)上就干兩件事——燒鍋爐和開電梯。燒鍋爐，要讓溫度迅速升高，到達(dá)一定高溫后，要讓溫度維持穩(wěn)定，這就是控制理論要解決的問題。開電梯也同理。”
一人獨講 5 篇國際論文
2008 年 7 月，芝加哥，計算機(jī)國際學(xué)術(shù)會議。天氣炎熱，穿短袖的賈揚清，被會議廳巨冷的空調(diào)吹得瑟瑟發(fā)抖。賈揚清心里也忐忑不安，他要反復(fù)上臺，用英文講 5 篇國際論文，其中 4 篇都是他陌生的領(lǐng)域，而臺下都是來自世界各地的專業(yè)人士。
實驗室 5 位同學(xué)論文入圍，但只有賈揚清拿到了美國簽證。無奈之下，賈揚清只好“依葫蘆畫瓢”代講。導(dǎo)師鼓勵他：“你放心，講得爛，別人都不會記得，你沒那么重要。放心講就行了。”“搞砸了，人家記不住你；搞好了，人家會說，這個人還不錯哦！” 學(xué)術(shù)會議上，歐美同行樂于主動展示自己的風(fēng)氣，對賈揚清沖擊很大。國內(nèi)實驗室，大家普遍悶頭做自己的科研，歐美人則非常希望自己的科研讓更多人看見，他們主動找人攀談，在講臺旁邊支起易拉寶，努力宣傳自己的項目。他們講起自己正做的事，便眉飛色舞，眼里放光，渾身洋溢著自豪感。賈揚清被深深感染。“我學(xué)會了跟別人溝通自己做科研背后的想法。當(dāng)時，我們普遍欠缺這種能力。”
Google 實習(xí)
伯克利研討會上，一位大廠同行主動找到賈揚清說：“我們很喜歡 Caffe。代碼里，居然有單元測試！很多時候，搞科研的人寫出來的代碼真是沒法看啊，但你們寫的還不錯！”這得益于賈揚清在 Google 實習(xí)，學(xué)寫代碼時養(yǎng)成了好習(xí)慣。
每年的 5 月下旬到 8 月，伯克利放暑假，學(xué)生們?yōu)榕囵B(yǎng)工業(yè)實踐經(jīng)驗，多數(shù)都會去大廠實習(xí)。2011 年，夏天，賈揚清在 NEC 實驗室實習(xí)，第?次接觸到稀疏編碼（Sparse Coding），賈揚清做了?個?動學(xué)習(xí)每個特征的感知域算法，在 CIFAR 數(shù)據(jù)集上獲得了當(dāng)時最好的準(zhǔn)確率。
置身 Google，賈揚清感受到，幾萬名工程師分布式協(xié)同工作的極致高效。Google 的工程實踐流程體系健全，寫代碼的過程用規(guī)范固定下來：要求寫程序時，要把單元測試方式寫到旁邊，方便他人修改后測試；要求用標(biāo)準(zhǔn)的格式寫文檔。短時間內(nèi)，賈揚清寫代碼的能力，被迅速提升。“這一方面，得益于我從眾多開源軟件中學(xué)習(xí)；另一方面，我覺得好奇心是衡量學(xué)習(xí)的普世標(biāo)準(zhǔn)。看到好的代碼，自己動手試一試，多寫幾次，不斷改進(jìn)。”“每個人都有好奇心，就像兒童敢吃任何東西，是因為兒童沒有吃的經(jīng)驗，嘗試吃新東西的邊際收益大，世界真美味的歡樂大于偶爾吃到泥巴的苦。”“上了年紀(jì)，可借鑒的經(jīng)驗數(shù)據(jù)越來越多，就需要用哲學(xué)代替經(jīng)濟(jì)學(xué)，用信仰強(qiáng)行將自己置于探索行動中，而非總是科學(xué)理性地在經(jīng)驗中深度學(xué)習(xí)，選優(yōu)。”
在 Google 實習(xí)，賈揚清“一邊學(xué)東西，一邊改善生活”。Google 食堂飯菜豐盛，有款名為“十磅”的甜點小蛋糕，寓意在 Google 待上一年，體重會漲 10 斤！賈揚清用 Google 的實習(xí)工資，換了一輛新車。在 Google 養(yǎng)成的良好工作習(xí)慣留痕在 Caffe 的代碼里。
2013 年，賈揚清從伯克利畢業(yè)，獲計算機(jī)博士學(xué)位。
從 TensorFlow 到 PyTorch
賈揚清到西班牙開會，患重感冒，深夜去藥店買藥，不懂西班牙語，打開 Google 翻譯的照相機(jī)翻譯，順著貨架一排排掃描過去，居然找到了布洛芬。
2013 年，賈揚清入職 Google Brain（2023 年 4 月，Google Brain 與 DeepMind 合并為 Google DeepMind），兩年后，賈揚清成為 TensorFlow 的創(chuàng)始團(tuán)隊一員。“TensorFlow 第?代框架的作者大多還在 Google，二代框架做得深入又完備。被 Google 的產(chǎn)品廣泛采用。”TensorFlow 被 Google 公司開源，一度成為 GitHub 上 Star 數(shù)超高的項目。在 Google，賈揚清找到了個人的”比較“優(yōu)勢。“我先從 AI 的科研開始，和科學(xué)家們有共同語言；做工程，工程師們覺得我寫代碼不錯。”“我能夠讓兩邊溝通協(xié)作。”
圖 3 扎克伯格親自官宣藝術(shù)家風(fēng)格轉(zhuǎn)換的功能
就在賈揚清做 Caffe2 的同時，紐約的 Facebook 人工智能研究院主導(dǎo)的 PyTorch 獲得成功。2018 年，在賈揚清的主導(dǎo)下，Caffe2 的后端、PyTorch 的前端、ONNX 的標(biāo)準(zhǔn)合成?個完整的框架，命名為 PyTorch1.0。“如果說 TensorFlow 像一個龐大又復(fù)雜的聯(lián)合收割機(jī)， PyTorch則更像是一輛靈活又便捷的單車。”
問答實錄
劉韌：機(jī)器翻譯靠什么突破？
賈揚清：以往，機(jī)器翻譯依賴建立語法規(guī)則實現(xiàn)，但兩種語言間的句法差異巨大，很難用手寫的方式，窮盡定義語法規(guī)則。現(xiàn)在，用神經(jīng)網(wǎng)絡(luò)，再借助互聯(lián)網(wǎng)收集數(shù)據(jù)，訓(xùn)練神經(jīng)網(wǎng)絡(luò)，逐步優(yōu)化、提升其精準(zhǔn)度。
劉韌：規(guī)則方式和神經(jīng)網(wǎng)絡(luò)方式，不同在哪？
賈揚清：程序員寫規(guī)則，就會陷入到無盡的規(guī)則中，進(jìn)入規(guī)則沼澤，例外之外還有例外，是一個無窮盡的問題。用神經(jīng)網(wǎng)絡(luò)，用模糊的方式模糊地解決問題，再通過數(shù)據(jù)訓(xùn)練逐步提高預(yù)測準(zhǔn)確率。
劉韌：深度學(xué)習(xí)和強(qiáng)化深度學(xué)習(xí)有什么不同？
賈揚清：強(qiáng)化深度學(xué)習(xí)意思是，如何把將來獲得的收益或懲罰回歸到現(xiàn)在。
劉韌：人工智能會在哪個方向上和人爭工作？
賈揚清：簡單重復(fù)的人類勞動被替換是個好事，人解放出來的時間，可以想更多的可能性。達(dá)芬奇有幅非常著名的畫叫《巖間圣母》（Virgin of the Rocks），圣母的主體是達(dá)芬奇畫的，背景的花草石頭是達(dá)芬奇的助手畫的，達(dá)芬奇也需要助手。今天很多畫家，他畫主體，再找助手把背景填上去。他也可以讓 AI 來填背景。就像達(dá)·芬奇的助手一樣，AI 能提升畫家的效率。
劉韌：中美的技術(shù)差距體現(xiàn)在哪方面？
賈揚清：好奇心。我們最優(yōu)秀的人才在追求執(zhí)行力，解決具體問題。歐美人更喜歡搞新東西。不得不承認(rèn)，美國人已經(jīng)解決溫飽很長時間，因此他們玩得更多，玩得多，總能玩出一些新東西。我們在很多方面要追，這事急不來。
關(guān)于《 開源英雄 》
《開源英雄》是由 CSDN 創(chuàng)始人&董事長、極客幫創(chuàng)投創(chuàng)始合伙人蔣濤發(fā)起，中國著名 IT 記者、DoNews 創(chuàng)始人劉韌領(lǐng)銜，CSDN、《新程序員》聯(lián)合出品的專訪欄目。通過開源開放的 CSDN 寫作班，深入訪談全球頂尖開源人物，為廣大開發(fā)者傳遞更多、更高質(zhì)量的信息，透過他們的人生及成長尋找共鳴、共舞開源世界。
自欄目推出至今，我們專訪了 Vue 作者尤雨溪、LVS 創(chuàng)始人章文嵩、linux 內(nèi)核守護(hù)者吳峰光、中國 Linux 第一人宮敏、小米開源奠基者崔寶秋、Caffe 作者賈揚清，如果你有想讓我們報道的開源人物，歡迎在 GitCode 上提交 Issues 或 PR。
地址：https://gitcode.net/programmer_editor/Open-Source-Heroes
