Anthropic发布Fable 5模型的安全防护措施及AI“越狱”行为评估框架

云财经讯，Anthropic发布一套评估人工智能(161631)“越狱”(jailbreak)行为严重程度的拟议框架，并详细介绍了已在全球上线的Claude Fable 5模型所采用的网络安全防护措施。该公司将网络安全相关使用场景划分为四类，从“禁止使用”到“无害用途”不等。被禁止的用途包括勒索软件开发、恶意软件开发以及网络—物理基础设施破坏等活动。在建立更完善的控制机制之前，对于渗透测试等具有“双重用途”属性的高风险活动将予以拦截。Anthropic提出的网络越狱严重程度Cyber Jailbreak Severity评级体系，从CJS-0至CJS-4，共分五级，并依据四个维度进行评估。Anthropic还推出了HackerOne项目，邀请安全研究人员提交潜在的模型越狱案例。