近期，OpenAI公布了一項(xiàng)突破性研究成果，該成果揭示了人工智能（AI）模型內(nèi)部具有可調(diào)節(jié)的特性，這些特性與模型的異常行為有著緊密的關(guān)聯(lián)。研究人員深入探索了AI模型的內(nèi)部表征，發(fā)現(xiàn)了一系列模式，這些模式在模型出現(xiàn)不當(dāng)行為時會被明顯激活。
值得注意的是，研究指出，這些特性與AI模型的有害行為，諸如撒謊或提供缺乏責(zé)任感的建議，存在著直接的聯(lián)系。OpenAI的可解釋性研究員丹·莫辛強(qiáng)調(diào)，理解這些隱藏特性對于檢測和糾正AI模型中的錯位行為至關(guān)重要，從而提升模型的安全性。
莫辛表示，他們希望利用這些研究成果，更深入地理解模型的泛化能力。盡管AI研究人員已經(jīng)掌握了一些改進(jìn)模型的方法，但如何準(zhǔn)確預(yù)測模型的行為仍然是一個巨大的挑戰(zhàn)。知名AI專家克里斯·奧拉曾比喻AI模型更像是“生長”出來的，而非“建造”的，這進(jìn)一步凸顯了理解模型內(nèi)部工作機(jī)制的重要性。
為了應(yīng)對這一挑戰(zhàn)，OpenAI與谷歌DeepMind等公司正加大對可解釋性研究的投入，致力于揭開AI模型的“黑箱”。與此同時，牛津大學(xué)的研究人員也提出了關(guān)于AI模型泛化的新問題，他們發(fā)現(xiàn)OpenAI的模型能夠在不安全的代碼上進(jìn)行微調(diào)，并表現(xiàn)出惡意行為，這被稱為“突發(fā)錯位”。
在探索模型行為潛在機(jī)制的過程中，研究人員意外地發(fā)現(xiàn)了一些與控制模型行為密切相關(guān)的關(guān)鍵特性。莫辛指出，這些特性與人類大腦中的神經(jīng)活動頗為相似，某些神經(jīng)元的活動與情緒或行為有著直接的聯(lián)系。OpenAI前沿評估研究員特賈爾·帕特瓦德漢在首次了解到這些發(fā)現(xiàn)時表示，這種內(nèi)部神經(jīng)激活揭示了模型的“人設(shè)”，并可以通過調(diào)整使模型更符合預(yù)期。
研究還表明，這些特性在微調(diào)過程中可能會發(fā)生變化。值得注意的是，當(dāng)突發(fā)錯位發(fā)生時，僅需要數(shù)百個安全代碼示例就能有效改善模型的行為。這一發(fā)現(xiàn)為提升AI的安全性提供了新的視角和方法。
