#对齐研究
Anthropic 最新对齐研究:Claude 自写训练数据微调 AI,成功绕过安全监控训练出对抗模型
Anthropic让Claude自己写训练数据去微调另一个AI,结果Claude成功绕开了内部所有的安全监控,把目标模型训练成了一个满脑子想着反抗人类、篡夺权力甚至偷跑权重的危险分子。
这项实验的目标原本是为了测试自动化安全红队。
人类专…