人工智能領(lǐng)域近期迎來了一項(xiàng)重大轉(zhuǎn)折，據(jù)業(yè)內(nèi)消息，知名企業(yè)家埃隆·馬斯克旗下的AI初創(chuàng)公司xAI正面臨一個(gè)嚴(yán)峻挑戰(zhàn)：在AI模型的訓(xùn)練過程中，人類歷史累積的知識(shí)數(shù)據(jù)似乎即將枯竭。這一困境并非孤例，早有研究表明，真實(shí)數(shù)據(jù)的供應(yīng)將在未來幾年內(nèi)迅速減少，預(yù)計(jì)將在2至8年內(nèi)達(dá)到極限。
面對(duì)這一數(shù)據(jù)危機(jī)，科技界開始積極尋找替代方案，合成數(shù)據(jù)因此成為焦點(diǎn)。澳大利亞“對(duì)話”網(wǎng)站近期指出，盡管合成數(shù)據(jù)具備諸多優(yōu)勢(shì)，但其過度使用也可能對(duì)AI的準(zhǔn)確性和可靠性造成負(fù)面影響。
一直以來，科技公司主要依賴真實(shí)數(shù)據(jù)來開發(fā)和優(yōu)化AI模型。這些數(shù)據(jù)包括文本、視頻和圖像，它們?cè)醋愿鞣N現(xiàn)實(shí)世界的調(diào)查、實(shí)驗(yàn)和社交媒體挖掘。然而，真實(shí)數(shù)據(jù)并非完美無缺，其中可能包含拼寫錯(cuò)誤、內(nèi)容不一致和偏見，這些問題在生成式AI模型中尤為突出，有時(shí)會(huì)導(dǎo)致生成的圖像缺乏多樣性。
更緊迫的是，真實(shí)數(shù)據(jù)的供應(yīng)速度已無法滿足AI日益增長(zhǎng)的需求。美國(guó)開放人工智能研究中心的聯(lián)合創(chuàng)始人伊利亞·蘇茨克維爾警告稱，AI行業(yè)已經(jīng)觸及“數(shù)據(jù)峰值”，訓(xùn)練數(shù)據(jù)的短缺問題日益嚴(yán)峻。有預(yù)測(cè)指出，到2026年，大型語言模型如ChatGPT的訓(xùn)練將耗盡互聯(lián)網(wǎng)上的所有可用文本數(shù)據(jù)。
為了應(yīng)對(duì)這一挑戰(zhàn)，合成數(shù)據(jù)應(yīng)運(yùn)而生。合成數(shù)據(jù)是通過算法生成的，模仿真實(shí)世界情況的數(shù)據(jù)，可以在數(shù)字世界中創(chuàng)造，無需從現(xiàn)實(shí)世界收集。它不僅為AI訓(xùn)練提供了一種經(jīng)濟(jì)高效的解決方案，還有效解決了隱私和道德問題，尤其是涉及敏感信息時(shí)。更重要的是，合成數(shù)據(jù)在理論上可以無限供應(yīng)。
科技巨頭們已經(jīng)開始積極采用合成數(shù)據(jù)來訓(xùn)練AI模型。微軟、元宇宙平臺(tái)公司和Anthropic等知名企業(yè)都在其AI訓(xùn)練中融入了合成數(shù)據(jù)。例如，微軟的“Phi-4”模型、谷歌的“Gemma”模型以及Anthropic的“Claude 3.5 Sonnet”系統(tǒng)都使用了合成數(shù)據(jù)。蘋果在其自研AI系統(tǒng)Apple Intelligence的預(yù)訓(xùn)練階段也大量使用了合成數(shù)據(jù)。
隨著需求的增長(zhǎng)，生產(chǎn)合成數(shù)據(jù)的工具也應(yīng)運(yùn)而生。英偉達(dá)發(fā)布的3D仿真數(shù)據(jù)生成引擎Omniverse Replicator能夠生成用于自動(dòng)駕駛汽車和機(jī)器人訓(xùn)練的合成數(shù)據(jù)。英偉達(dá)還開源了Nemotron-4340b系列模型，開發(fā)者可以使用該模型生成高質(zhì)量的合成數(shù)據(jù)，用于訓(xùn)練大型語言模型，以應(yīng)用于多個(gè)行業(yè)。微軟和亞馬遜云科技也推出了相應(yīng)的合成數(shù)據(jù)生成工具。
然而，合成數(shù)據(jù)并非沒有缺點(diǎn)。過度依賴合成數(shù)據(jù)可能導(dǎo)致AI模型產(chǎn)生更多“幻覺”，即編造看似合理但實(shí)際上并不存在的信息。合成數(shù)據(jù)可能缺乏真實(shí)數(shù)據(jù)的復(fù)雜性和多樣性，導(dǎo)致AI模型的輸出過于簡(jiǎn)單，缺乏實(shí)用性。例如，如果合成數(shù)據(jù)中包含拼寫錯(cuò)誤，這些錯(cuò)誤可能會(huì)被其他模型學(xué)習(xí)并放大。
為了解決這些問題，科技界需要采取一系列措施。國(guó)際標(biāo)準(zhǔn)化組織應(yīng)著手創(chuàng)建系統(tǒng)來跟蹤和驗(yàn)證AI訓(xùn)練數(shù)據(jù)。同時(shí)，AI系統(tǒng)可以配備元數(shù)據(jù)追蹤功能，以便對(duì)合成數(shù)據(jù)進(jìn)行溯源。人類監(jiān)督在AI模型的訓(xùn)練過程中至關(guān)重要，以確保合成數(shù)據(jù)的高質(zhì)量和道德標(biāo)準(zhǔn)。
