近期，人工智能領域的巨頭OpenAI宣布了一項新舉措，針對其最新研發的人工智能推理模型o3和o4-mini，部署了一套專門設計的監控系統。這一系統的主要目標是預防這些先進模型提供可能構成生物和化學威脅的有害建議。
OpenAI在一份安全報告中詳細闡述了該系統的目的，即確保模型不會為潛在的惡意用戶提供制造生物或化學武器的指導。據OpenAI介紹，盡管o3和o4-mini在性能上相較于之前的模型有了顯著提升，但同時也帶來了新的安全風險。
特別是o3模型，在OpenAI的內部基準測試中展現出了對回答有關生物威脅問題的高度能力。為了有效應對這一風險，OpenAI開發了名為“安全導向推理監控器”的新系統。該監控器經過專門訓練，能夠深入理解并遵循OpenAI的內容政策，實時監控o3和o4-mini的運行狀態。
安全導向推理監控器的核心功能是識別與生物和化學風險相關的關鍵詞或提示，一旦檢測到這些風險信號，就會指示模型拒絕提供相關的建議。為了驗證這一系統的有效性，OpenAI的紅隊成員投入了大量時間，標記了o3和o4-mini中涉及生物風險的“不安全”對話，并進行了模擬測試。
測試結果顯示，在模擬安全監控器的“阻斷邏輯”測試中，模型成功拒絕回應風險提示的比例高達98.7%。然而，OpenAI也坦誠地指出，這一測試并未涵蓋用戶在被監控器阻斷后嘗試使用新提示詞的情況。因此，OpenAI表示將繼續結合人工監控手段，以彌補這一潛在漏洞。
值得注意的是，盡管o3和o4-mini尚未達到OpenAI設定的生物風險“高風險”閾值，但與早期的o1和GPT-4相比，它們在回答關于開發生物武器的問題時表現出了更高的幫助性。OpenAI正在密切關注其模型可能如何被惡意用戶利用，以更容易地開發化學和生物威脅。
為了降低模型帶來的風險，OpenAI正越來越多地依賴自動化系統。例如，在防止GPT-4o的原生圖像生成器創建兒童性虐待材料（CSAM）方面，OpenAI已經采用了與o3和o4-mini相似的推理監控器技術。
然而，并非所有人都對OpenAI的安全措施感到滿意。一些研究人員對OpenAI在安全問題上的重視程度提出了質疑。特別是OpenAI的紅隊合作伙伴Metr表示，他們在測試o3的欺騙性行為基準時，由于時間限制，未能進行全面深入的評估。OpenAI還決定不為其最新發布的GPT-4.1模型發布安全報告，這一決定也引發了一些爭議。
盡管如此，OpenAI仍在不斷努力提升其模型的安全性，以確保人工智能技術的健康發展。
