Anthropic 向 METR 开放类员工访问权限，推进独立安全评估

上个月，我们承诺对我们的模型和安全实践开展更严格的独立第三方评估。我们还签署了《白宫超级智能协议》，参与公司在协议中承诺与独立的外部审计方或评估方合作。今天，我们宣布，已开始向来自非营利前沿 AI 模型评估机构 METR 的一个团队提供类似员工的访问权限。

METR 将公布其风险评估结果。过去一年，我们与 METR 合作，对我们的《风险报告》进行了多次审查。我们也在与 SecureBio 和 Accenture 合作，由它们担任评估方，并正与包括 Hugging Face 在内的其他几家机构进行初步讨论。

在这里，我们将介绍与评估方合作的方式。

我们为何与独立评估方合作

随着模型能力不断增强，它们需要更强的安全防护措施和更具挑战性的风险评估。我们希望就所作的决策向公众负责。但我们无法公开分享与安全工作相关的所有信息。其中一些信息可能被恶意行为者利用，或属于商业敏感信息，例如算力或训练信息。因此，我们选择向第三方评估方开放对我们信息的深入访问权限，并让他们分享有关构建我们模型所涉风险的证据和经过论证的结论。我们的目标是缩小评估方与前沿 AI 公司自身对该公司系统的了解程度之间的差距。

要评估前沿模型，评估方需要具备以下条件：

• 评估前沿模型能力的专业知识，包括了解评估可能如何出错，例如伪装对齐。
• 独立性：他们不应持有所评估公司的股权，也不应在财务或运营上依赖该公司。
• 足够的访问权限，以便对风险进行有意义的评估。除了能够访问最新模型，评估方还需要了解这些模型的训练方式、我们的安全防护措施如何运作等信息。
• 自由发表对模型或流程的观察与评估 。

虽然这一类比并不完全准确，但银行监管的运作逻辑与此类似。银行比外界更了解自身的风险状况，因此监管机构会派驻检查员进入规模最大的银行开展工作。如果银行的冒险行为可能威胁公众，第三方会努力提前发现这一点。

对 AI 行业而言，这是迈向健全安全监督的一步。我们正与多家评估方迅速推进合作，并积极了解哪些合作形式行之有效。我们承诺在推进过程中持续分享最新进展。

我们所说的“类似员工的访问权限”是什么意思

我们已为六名 METR 员工办理入驻手续，为他们提供公司硬件、办公空间，以及内部工具和系统的访问权限，其权限与我们自己的风险评估团队大致相当。除了少数界定明确的信息类别（例如客户数据、受律师与客户保密特权保护的信息，或有关我们模型架构的信息）外，我们鼓励 Anthropic 员工像对待从事对齐风险工作的同事一样，与他们分享信息。¹

METR 将发布其对我们的风险水平、事件或实践的分析。Anthropic 不能否决发布，但如果信息属于预先定义的类别，例如披露机密知识产权，我们可以要求他们删去相关信息。（哪些信息属于或不属于这些类别，最终由 Anthropic 决定，不过 METR 保留就其获得的访问权限和信息程度作出某些声明的权利。）²

我们与 METR 的合作仅限于一个受具有法律约束力的协议约束的小型团队。METR 的其他员工与该团队的工作相隔离，包括在其他项目上与我们合作的研究人员。嵌入式评估让少数遵循 Anthropic 安全标准开展工作的合格人员能够近距离了解我们的运作方式。这并不是其他组织获取我们或我们的客户及合作伙伴信息的途径。

我们与其他评估机构的合作

我们正在推进其他几项合作。由于这些合作仍处于早期阶段，我们向这些评估机构提供的信息更为有限，他们的发布权也更为有限。开展这些早期合作的目标，是确保合作伙伴能够保护机密信息，并具备评估我们模型所需的资源和专业知识。随着合作推进和信任建立，我们希望让更多独立评估机构全面嵌入。

我们正在为评估机构制定三个层级的访问权限。随着时间推移，我们希望有多家评估机构进入第三层级，由各团队发布各自对我们风险状况和关键决策的分析。

在第一层级，评估机构开展范围严格限定的风险调查。我们决定向第一层级评估机构提供哪些访问权限，评估机构经我们批准后可以发布调查结果。

在第二层级，评估机构无需我们批准即可发布，并且能够访问更多信息。我们仍可要求删除特定类别的信息，但评估机构可以就我们的删改是否合理发表看法。

第三层级就是我们前文所述与 METR 的合作安排，提供类似员工的访问权限，以及与第二层级类似的发布权。

SecureBio 在完成并发布对我们上一份风险报告的试点评审后，目前正在评审我们8 月风险报告中的化学与生物武器章节。本次评审完成后，我们将考虑推进访问权限更高的项目。³

我们正与 Accenture 和 Faculty 一起推进一项雄心勃勃的合作，内容包括模型评估和红队测试、开展对齐评估、测试模型安全防护措施，以及在各自组织内建设相关能力。

我们自愿引入嵌入式评估机构，并相信每家前沿 AI 公司都应这样做。