在人工智能技術(shù)飛速發(fā)展的今天，機(jī)器處理現(xiàn)實(shí)生活中復(fù)雜任務(wù)的能力也越來越強(qiáng)大。其中，從現(xiàn)實(shí)世界網(wǎng)絡(luò)中挖掘有效、相關(guān)的信息在許多新興應(yīng)用中起著至關(guān)重要的作用。例如，在社交網(wǎng)絡(luò)中，根據(jù)個(gè)人資料和社交關(guān)系將用戶進(jìn)行分類，而后應(yīng)用于社交推薦、目標(biāo)廣告、用戶搜索等功能，在這方面清華唐杰教授及其團(tuán)隊(duì)對(duì)人工智能領(lǐng)域做出了不小的貢獻(xiàn)。
萬(wàn)億參數(shù)大模型只是一個(gè)開始
清華唐杰教授早先從事數(shù)據(jù)挖掘和知識(shí)工程方面的研究，他曾經(jīng)不愿意也不敢相信機(jī)器智能可以超越人，但大規(guī)模預(yù)訓(xùn)練模型改變了他的想法；如今，他開始反問為何機(jī)器智能不可以超越人。清華唐杰教授表示，萬(wàn)億參數(shù)大模型只是一個(gè)開始，作為一種科學(xué)上的探索，智源悟道團(tuán)隊(duì)將堅(jiān)持在「大」這條路上走下去，探索其邊界，因?yàn)樗麄円呀?jīng)在大模型上觀察到了以往小模型上所不曾有過的現(xiàn)象。但清華唐杰教授同時(shí)也指出，單靠增加訓(xùn)練數(shù)據(jù)量或模型參數(shù)規(guī)模不足以實(shí)現(xiàn)「智能」，悟道團(tuán)隊(duì)目前踐行的「知識(shí)+數(shù)據(jù)雙輪驅(qū)動(dòng)」，正是嘗試將知識(shí)這種符號(hào)信息與神經(jīng)網(wǎng)絡(luò)相結(jié)合，構(gòu)建所謂的「神經(jīng)-符號(hào)結(jié)合模型」，從而賦予機(jī)器認(rèn)知能力。在更遠(yuǎn)期的規(guī)劃中，清華唐杰教授希望讓悟道模型擁有自學(xué)習(xí)的能力，以及作為一個(gè)主體與現(xiàn)實(shí)世界交互的能力，正如人類兒童在成長(zhǎng)中所經(jīng)歷的那樣。
各種任務(wù)精度的提升
至于眼下，一個(gè)重點(diǎn)將是基于悟道 2.0 構(gòu)建一個(gè)平臺(tái)和生態(tài)，讓企業(yè)、開發(fā)者和研究人員真正用起來——用他的話說就是「大規(guī)模預(yù)訓(xùn)練模型不是用來作秀的」，并根據(jù)用戶的反饋優(yōu)化和迭代。不過，這方面的工作將由其他團(tuán)隊(duì)牽頭完成。悟道團(tuán)隊(duì)將持續(xù)聚焦，這也是清華唐杰教授個(gè)人的研究風(fēng)格——專注、專注再專注，直到拿出嚴(yán)謹(jǐn)、可靠和有力的成果。清華唐杰教授說：「更重要的是各種任務(wù)精度的提升，算法的優(yōu)化，運(yùn)行效率，以及對(duì)整個(gè)人工智能軟件和硬件應(yīng)用及架構(gòu)的再考察。」要讓機(jī)器從數(shù)據(jù)中學(xué)出所有的人類知識(shí)，現(xiàn)在所謂的「大數(shù)據(jù)」根本少得可憐深度學(xué)習(xí)常為人詬病的一點(diǎn)在于其不可解釋性。然而，存儲(chǔ)在人類大腦中的知識(shí)亦然，只不過我們能夠借助語(yǔ)言進(jìn)行表達(dá)。但即便如此，還是有很多無(wú)法用言語(yǔ)描述進(jìn)而抽象為知識(shí)的東西。
很大程度上，現(xiàn)階段的深度學(xué)習(xí)也是如此，大規(guī)模預(yù)訓(xùn)練模型確實(shí)從數(shù)據(jù)中學(xué)到了什么，但其具體過程或數(shù)理機(jī)制尚不明晰。在擁有 1.75 萬(wàn)億參數(shù)的悟道 2.0 上，清華唐杰教授團(tuán)隊(duì)觀察到模型不需要訓(xùn)練數(shù)據(jù)，可以自動(dòng)從未標(biāo)記的數(shù)據(jù)中學(xué)出一些人類知識(shí)，有的機(jī)器學(xué)習(xí)出的知識(shí)圖譜比人工標(biāo)注的質(zhì)量還要好。
