近期，ChatGPT成為人工智能領(lǐng)域現(xiàn)象級熱點。這是由美國OpenAI公司發(fā)布的對話機器人，其“投人所好”的回答備受社會各領(lǐng)域關(guān)注，甚至產(chǎn)生是否意味人工智能新一輪技術(shù)革命、是否具備類人認(rèn)知、是否演變?yōu)?ldquo;強大而危險的AI”等一系列熱點爭議。
本文剖析ChatGPT的底層技術(shù)和演化路徑，總結(jié)認(rèn)為其是近幾年不斷迭代的多種技術(shù)疊加而取得的重大成果，屬于重大的組合式創(chuàng)新，而也非根本性創(chuàng)新。同時，ChatGPT是人工智能生成內(nèi)容（AIGC）的重要產(chǎn)品化應(yīng)用，是工程化突破，將帶來數(shù)字內(nèi)容生產(chǎn)方式和消費模式的升級，呈現(xiàn)新型虛實融合的數(shù)字文明。
一、ChatGPT歷史版本表現(xiàn)不及google BERT模型，堅持技術(shù)理想終于實現(xiàn)重要突破，未來Google相應(yīng)的模型也值得期待
GPT和BERT是近幾年自然語言領(lǐng)域廣受關(guān)注的預(yù)訓(xùn)練語言模型。其中，GPT-1由OpenAI于2018年6月發(fā)布，Bert是同年10月谷歌AI團隊推出。兩者都是基于Transformer模型架構(gòu)（2017年6月谷歌團隊提出），但是GPT以生成式任務(wù)為目標(biāo)，主要是完成語言生成，如聊天、寫作等，BERT模型更注重判斷決策，強調(diào)語言理解相關(guān)的任務(wù)，如問答、語義關(guān)系抽取等。
表GPT和Bert是兩類語言模型的典型代表
歷史版本上，GPT的模型效果弱于BERT，但OpenAI堅信生成式技術(shù)優(yōu)勢并不斷迭代模型。雖然生成式模型的可控性差、訓(xùn)練難度高，但OpenAI瞄準(zhǔn)生成式模型的通用范式高、訓(xùn)練過程更接近運用部署等技術(shù)應(yīng)用優(yōu)勢，始終堅持迭代部署。ChatGPT的研發(fā)過程是艱難曲折的，2018年6月發(fā)布GPT-1，而4個月后被谷歌的BERT模型全面超過；2019年2月發(fā)布GPT-2，整體效果仍不如BERT；2020年5月發(fā)布GPT-3，展現(xiàn)了“提升學(xué)習(xí)”這一新特點，生成效果離實際應(yīng)用還有很大距離。事實上，業(yè)界對BERT模型認(rèn)可度高，多數(shù)沿著“無監(jiān)督訓(xùn)練”和“下游任務(wù)微調(diào)”的研究范式開展開發(fā)，但OpenAI依舊堅持以生成式任務(wù)為目標(biāo)，終于在2022年11月發(fā)布ChatGPT，產(chǎn)品十分驚艷，是有史以來最短時間用戶量突破1個億的應(yīng)用。
二、ChatGPT疊加迭代多種技術(shù)，是組合式的迭代創(chuàng)新，也非根本性的理論創(chuàng)新
ChatGPT全稱為Chat Generative Pre-Trained Transformer，即聊天型生成式預(yù)訓(xùn)練轉(zhuǎn)換模型，從算法分類上來講，它屬于生成式的大規(guī)模語言模型，其底層的技術(shù)，包括Transformer、有監(jiān)督微調(diào)訓(xùn)練、強化學(xué)習(xí)等，已在人工智能領(lǐng)域有廣泛的應(yīng)用，并非算法上的實質(zhì)性創(chuàng)新。ChatGPT巧妙地疊加這些技術(shù)，成功展現(xiàn)了由于模型規(guī)模帶來的突現(xiàn)能力，經(jīng)過近幾年不斷迭代部署，量變的積累產(chǎn)生質(zhì)變，形成了ChatGPT的語言智能。
本質(zhì)上，ChatGPT是基于大規(guī)模語料訓(xùn)練的生成式模型，相比于目前廣泛運用的判別式模型，它不局限于在已有的內(nèi)容的判斷、預(yù)測（如人臉識別），而是進(jìn)一步學(xué)習(xí)歸納后進(jìn)行演繹，基于歷史進(jìn)行模仿式創(chuàng)作，并生成合意的內(nèi)容（如文本創(chuàng)作）。
具體來看，ChatGPT的訓(xùn)練原理包含三個步驟，在大語言模型訓(xùn)練基礎(chǔ)上，往復(fù)多次采用有監(jiān)督的精調(diào)學(xué)習(xí)和基于人工反饋的強化學(xué)習(xí)，從而不斷加強ChatGPT模型的參數(shù)質(zhì)量，實現(xiàn)模型對話能力關(guān)鍵性突破。
表ChatGPT訓(xùn)練包含的三個步驟
注：PPO（Proximal Policy Optimization），是一種強化學(xué)習(xí)算法
三、ChatGPT的類人表現(xiàn)基于大量優(yōu)質(zhì)的數(shù)據(jù)語料訓(xùn)練，實現(xiàn)對話意圖識別和內(nèi)容生成能力的突破，但具體場景的通用性和魯棒性弱于工業(yè)界的判別類模型
在人工智能領(lǐng)域，ChatGPT是AI算法里程碑式的成果。根據(jù)ChatGPT的實際使用反饋，ChatGPT的躍遷式進(jìn)步體現(xiàn)在——它的交互回答與人類意圖的一致性較高，更能“投人所好”，具體表現(xiàn)在它的“意圖理解能力強”并且“生成能力強”，尤其是在多輪對話下能夠領(lǐng)會人類的意圖，融合異構(gòu)數(shù)據(jù)，產(chǎn)生有邏輯且多樣化的長文本，遠(yuǎn)遠(yuǎn)超過了目前其他AI語言模型的使用效果。
關(guān)于強大的對話能力，除了在“大模型、高算力、算法調(diào)優(yōu)”方面的優(yōu)勢外，數(shù)據(jù)側(cè)的整理、清洗、人工標(biāo)注等工程化細(xì)節(jié)啟到了關(guān)鍵核心作用。ChatGPT的訓(xùn)練語料主要來自Common Crawl、各類網(wǎng)頁、書籍及維基百科，而目前OpenAI公司并未公布更多數(shù)據(jù)處理和工程化過程，包括（1）數(shù)據(jù)篩選方法，如何在海量網(wǎng)頁文本進(jìn)行數(shù)據(jù)的質(zhì)量判斷和選取；（2）數(shù)據(jù)收集設(shè)置細(xì)節(jié)，如何確定網(wǎng)頁文本、代碼、公式和論文的比例，以用于第一步訓(xùn)練大語言模型；（3）粗加工技術(shù)，例如對千億級tokens的編碼技術(shù)；（4）精加工技術(shù)，例如如何在第二步訓(xùn)練中選擇和確定進(jìn)行人工標(biāo)注的1.5萬個問題。
由此，ChatGPT的知識來源于數(shù)據(jù)庫語料，回答的準(zhǔn)確性以及是否合乎倫理道德都會受到訓(xùn)練數(shù)據(jù)的影響，并且難以完成訓(xùn)練數(shù)據(jù)庫以外的任務(wù)。
總的來說，GPT和BERT針對的任務(wù)和場景不同，但在各自方向中都有很好的表現(xiàn)，都是非常強大的語言模型，
四、ChatGPT進(jìn)步的關(guān)鍵技術(shù)之一是基于人工反饋的強化學(xué)習(xí)，但 “強化學(xué)習(xí)”在工業(yè)界復(fù)活的判斷還為時過早
基于人工反饋的強化學(xué)習(xí)使ChatGPT的類人表現(xiàn)更進(jìn)一步，但這并不意味著強化學(xué)習(xí)將立刻在工業(yè)界重新獲得廣泛運用。主要出于以下幾點原因：一是雖然OpenAI在強化學(xué)習(xí)上做了大量工作，但是強化學(xué)習(xí)的兩個應(yīng)用核心痛點尚未有效解決：數(shù)據(jù)使用效率仍舊不高，強化學(xué)習(xí)仍有太多超參數(shù)需要調(diào)節(jié)；二是對于現(xiàn)在強化學(xué)習(xí)在ChatGPT中起到作用的相關(guān)效果評價還不夠完整，需要剔除僅由增加數(shù)據(jù)帶來的增益；三是強化學(xué)習(xí)模型的必要性仍需驗證，在增加第二步訓(xùn)練中數(shù)據(jù)量的情況下，第三步訓(xùn)練是否仍然必要，或是可以用更簡單直接的算法利用第三步中的增量標(biāo)注數(shù)據(jù)去迭代優(yōu)化原模型的參數(shù)，都還有待進(jìn)一步驗證。
圖：各階段訓(xùn)練在ChatGPT模型上產(chǎn)生的效果評價
圖表來源：openAI的官方博客
五、AI技術(shù)演化不會趨于單一化，而是“分久必合，合久必分”
人工智能技術(shù)作為數(shù)字時代新一輪科技革命和產(chǎn)業(yè)變革的重要戰(zhàn)略引擎，整體呈現(xiàn)“分久必合，合久必分”的動態(tài)上升趨勢。
從機器學(xué)習(xí)的模型訓(xùn)練來講，目前經(jīng)歷“有監(jiān)督學(xué)習(xí)→自監(jiān)督學(xué)習(xí)→有監(jiān)督學(xué)習(xí)”的技術(shù)演變過程，也就是從“標(biāo)注數(shù)據(jù)→海量無標(biāo)注數(shù)據(jù)+大模型→高質(zhì)量標(biāo)注數(shù)據(jù)”，技術(shù)發(fā)展從追逐模型大小回歸到提升數(shù)據(jù)質(zhì)量，這并不是全盤否定自監(jiān)督學(xué)習(xí)的技術(shù)意義，簡單回歸機器學(xué)習(xí)的技術(shù)原點，而是技術(shù)的螺旋式上升過程。
從整個AIGC（人工智能生成內(nèi)容）技術(shù)的發(fā)展來講，已經(jīng)進(jìn)入即分又合的時代。從開始“多頭并進(jìn)”演變?yōu)?ldquo;多點發(fā)力”，同時在“文本→文本”、“文本→圖片”、“文本→代碼”、“文本→聲音”、“文本→視頻”五個領(lǐng)域同時探索，但是共性關(guān)鍵技術(shù)有一致性，等于同一技術(shù)在同時做五個試驗，技術(shù)迭代成功率增加至五次方倍，所有這些方面的技術(shù)進(jìn)步將助推AIGC技術(shù)的成熟，豐富人們的數(shù)字生活。
六、機器和未來人類的關(guān)系會出現(xiàn)重大轉(zhuǎn)變，且更加以人為中心
數(shù)字時代下，以ChatGPT為代表的人工智能生成內(nèi)容（AIGC）將不斷革新數(shù)字內(nèi)容的生產(chǎn)方式和消費模式，呈現(xiàn)人工智能強大的生產(chǎn)力變革效能。
首先是信息交互方式將發(fā)生重大改變，目前信息的交互以搜索引擎為主，ChatGPT將成為人工智能行業(yè)的基礎(chǔ)設(shè)施，帶來信息處理能力和內(nèi)容生成能力的極大提升，致使文本理解、知識挖掘和表征、知識存儲和檢索等方面產(chǎn)生根本性的成本效率改善。
其次，人工智能行業(yè)將會發(fā)生生態(tài)顛覆，部分傳統(tǒng)人工智能產(chǎn)業(yè)將展現(xiàn)新的生命力，但同時部分行業(yè)也將面臨淘汰的威脅。智能客服將受到最為直接的影響，其靈活性和人性化服務(wù)能力顯著提升，在非深度專業(yè)服務(wù)方面能力接近于或超過真人客服，而且是所有公司都將會低成本普遍獲得的一種能力。相應(yīng)地，對于垂直但領(lǐng)域的行業(yè)特性不強的公司，以及沒有數(shù)據(jù)和行業(yè)壁壘、僅提供通用文本處理能力的公司，都會受到降維打擊，例如“根據(jù)標(biāo)題+關(guān)鍵詞生成營銷文案”、“郵件自動填寫”、“AI寫作助手”等。
由此，機器和未來人類的關(guān)系會出現(xiàn)重大轉(zhuǎn)變，ChatGPT將成為“大眾秘書”，提高人的生產(chǎn)效率，替代人的簡單重復(fù)性勞動，實現(xiàn)社會生產(chǎn)效率的提升。人工智能為廣泛社會群體快速實現(xiàn)“草稿準(zhǔn)備”、“文字歸納”、“專家型知識獲取”等功能，并且專屬機器秘書像私人管家一樣，結(jié)合相關(guān)主體偏好，輔助形成個性化復(fù)雜決策建議。同時，技術(shù)發(fā)展將營造新的職業(yè)機會，人類的數(shù)字文明更進(jìn)一步。
七、實現(xiàn)國產(chǎn)中文版仍存挑戰(zhàn)，數(shù)據(jù)量是關(guān)鍵要素，高質(zhì)量的數(shù)據(jù)將是最大優(yōu)勢
短期內(nèi)，憑借市場力量即刻推出國產(chǎn)中文版ChatGPT仍存在不小挑戰(zhàn)。單就語種而言，中文語料訓(xùn)練難度大，在數(shù)據(jù)質(zhì)量上，中文網(wǎng)頁質(zhì)量比英文網(wǎng)頁質(zhì)量差很多，在訓(xùn)練要求上，由于中國文化多樣性和悠久性，語言訓(xùn)練難度較英文高，即使在目前在ChatGPT的語料庫里中文也僅占5％，ChatGPT在中文環(huán)境的交流效果遠(yuǎn)弱于英文環(huán)境。
并且，國內(nèi)主體短期攻關(guān)相關(guān)技術(shù)也需要一定時間。在人工智能技術(shù)方法論上，目前國內(nèi)研究者多數(shù)依循谷歌的研究路徑，即“模型+算力+優(yōu)化”，需要進(jìn)行研究范式的轉(zhuǎn)變。在相關(guān)AI理論的攻關(guān)和參數(shù)的實驗上，也需要進(jìn)行不斷的嘗試和經(jīng)驗的積累，難以一蹴而就。
八、馬上消費乘ChatGPT之勢，鍛造沉浸式數(shù)智體驗
馬上消費持續(xù)研究并拓展人工智能生成內(nèi)容（AIGC）的創(chuàng)新應(yīng)用，在類ChatGPT技術(shù)上，取其算法要義精華，專注消費金融領(lǐng)域的模型精調(diào)，實現(xiàn)專業(yè)領(lǐng)域的AI內(nèi)容生成，并成功為用戶提供豐富多樣的數(shù)字金融服務(wù)。
在大模型研究方面，公司聚焦垂直領(lǐng)域的專業(yè)化。自成立以來，馬上消費專設(shè)人工智能研究院，獲批建設(shè)國家級博士后科研工作站、國家應(yīng)用數(shù)學(xué)中心、智慧金融與大數(shù)據(jù)分析重點實驗室等科研平臺。基于消費金融領(lǐng)域的專業(yè)知識，使用來自人類反饋的強化學(xué)習(xí)來訓(xùn)練語言模型；在大模型控制方面，完善算法框架，實現(xiàn)在圈定的“常識+專業(yè)知識”上進(jìn)行對話和推理；在大模型的學(xué)習(xí)能力方面，聚焦自問自答得遞歸加深理解功能，由機器人生成問題，并自行回答或搜索答案，最后根據(jù)這些自問自答生成最終答案。
同時，克服GPU的不足、經(jīng)驗的欠缺，探索大小模型的‘精調(diào)訓(xùn)練’和‘推理使用’的能力。大模型的訓(xùn)練和應(yīng)用離不開數(shù)據(jù)，馬上消費擁有超1.6億注冊用戶，構(gòu)建完成高度自適的消費金融數(shù)據(jù)資產(chǎn)管理體系。在充分釋放自身數(shù)據(jù)要素價值的條件下，探索適應(yīng)消費金融行業(yè)實際的大模型訓(xùn)練與應(yīng)用實際。設(shè)計基于公司數(shù)據(jù)的訓(xùn)練“問答對”，既保留原有大語言模型的常識和通用推理能力，又獨有垂直細(xì)分?jǐn)?shù)據(jù)上產(chǎn)生類似的能力擴展。公司在大模型應(yīng)用主要是數(shù)據(jù)加工、模型優(yōu)化、表征生成三個方面，結(jié)合大模型“超級打標(biāo)員”技術(shù)對數(shù)據(jù)進(jìn)行標(biāo)注，并生成“偽數(shù)據(jù)”以加強下游任務(wù)訓(xùn)練；將大模型作為母模型，蒸餾訓(xùn)練出效果類似的小模型；利用大模型對內(nèi)部文本生成更好的表征，這些表征可以用來做下游知識抽取，知識注入等。就目前的實踐成果來看，公司高度擬人的虛擬客服完成重復(fù)問題簡單快速處理，達(dá)到95％準(zhǔn)確率、85％自助率，降低金融服務(wù)成本，提升了用戶體驗。
并且，基于“科技讓生活更美好”的愿景，公司積極推動人工智能生成內(nèi)容（AIGC）標(biāo)準(zhǔn)的制定，從規(guī)范約束和風(fēng)險監(jiān)控兩個方面來保證機器智能生成內(nèi)容的可信合規(guī)，助力內(nèi)容生成產(chǎn)業(yè)高質(zhì)量發(fā)展。
整體而言，馬上消費堅持在構(gòu)建高可信數(shù)據(jù)資產(chǎn)體系的基礎(chǔ)上，不斷研發(fā)多模態(tài)、多場景、持續(xù)學(xué)習(xí)的類ChatGPT應(yīng)用，為用戶鍛造沉浸式AI交互服務(wù)。
馬上消費金融股份有限公司副總經(jīng)理兼首席信息官蔣寧
來源：金融界資訊
