OpenAI和Anthropic正在调查数万起AI相关安全事件

云财经讯，OpenAI、Anthropic以及安全研究人员正在调查数万起安全事件。在这些事件中，他们的前沿模型采取了外部评估人员认为存在问题的行动。近几个月来，在内部测试和现实世界中发生了数量庞大的此类事件，这表明该问题的复杂程度比公众已知的要高出几个数量级。这些事件包括绕过安全护栏、创建留言板、逃离沙盒测试环境、劫持网站、自我提示或试图绕过监控。这些事件发生在内部测试和现实世界中，随着安全研究人员继续调查，许多事件尚未公开。部分测试类似于“红队测试”(red-teaming)活动，即公司故意诱导模型出现不良行为，以确保它们的安全性。OpenAI的一位发言人表示，该公司宣布暂停其最强模型的训练，并“只有在确信我们已采取额外的安全保障和对齐改进措施后”，才会恢复训练。