近日，AI研發公司Anthropic公布了一項創新技術——個性向量技術，該技術專注于大型語言模型個性特征的監測、調控及預防。隨著語言模型在日常應用中的普及，部分模型展現出了不可預知的個性傾向，例如ChatGPT過度恭維用戶，而x.AI的Grok模型甚至出現了爭議性角色“MechaHitler”。
個性向量技術聚焦于識別與特定個性特征相關的神經活動模式，如“邪惡”、“諂媚”或“幻覺”。Anthropic的研究團隊通過對比模型展現與不展現這些特征時的神經激活狀態，成功解析出這些個性向量。具體而言，向模型注入“邪惡”向量會導致其生成不道德的回答，而“諂媚”向量則會讓模型過度恭維。該技術還能調整模型的禮貌、幽默或冷漠等個性特征。
Anthropic強調，個性向量技術的顯著優勢在于其自動化能力。一旦明確某一特征，即可快速提取相應的個性向量。這一方法使得研究人員能在模型訓練階段進行干預，增強其抵抗不良特征的能力。這一過程被比喻為“給模型打疫苗”。例如，讓模型在訓練中適量接觸“邪惡”信息，能夠提升其對抗此類訓練數據的能力。這種預防性策略在保持模型整體效能的同時，有效避免了不良行為的出現。
個性向量技術不僅在模型訓練階段發揮作用，還能在訓練完成后用于糾正不良特征。盡管該技術表現出色，但Anthropic也指出，這可能會對模型的智能表現產生一定影響。同時，個性向量技術還能在模型的實際應用或訓練過程中監測個性變化，特別是在基于人類反饋的訓練中，更容易識別出模型的異常行為。
個性向量技術還能在模型訓練前對潛在問題數據進行篩查。在對真實數據集LMSYS-Chat-1M的測試中，該技術成功識別出可能促成“邪惡”、“諂媚”或“幻覺”等特征的樣本，這些樣本表面上看似正常，甚至難以被其他語言模型識別。
