Google DeepMind 如何为 Gemini 4 Argon 构建安全防护

Gemini 4 Argon 在模型能力上迈出了新的一步，尤其是在编程、金融、法律、网络安全和科学等领域中，深入处理复杂的现实世界任务方面。它的网络防御能力处于前沿水平，旨在让防御者相较于攻击者占据优势。为了最大限度地发挥其潜力，我们首先希望网络防御者通过我们的 Fairwind Program 将其投入使用，同时我们自己的安全团队也利用它扫描 Google 内外的关键系统。

这段有限开放的时期展示了这些能力的重要性。例如，Wiz 利用 Argon 发现了医院软件中一个此前模型未能发现的严重漏洞，帮助保护了数十万份患者记录。与此同时，Google 自己的安全团队利用 Argon 查找并修补内部软件或开源软件中的漏洞。其中包括修复影响全球各地系统的基础性漏洞，这些漏洞正在按照我们的负责任披露流程处理。

今天，我们开始广泛推出 Argon，同时将 Fairwind Program 扩展至更多值得信赖的网络防御者。为了做好这项工作，我们深入探讨了两大问题：

我们如何构建恰当的安全防护机制？如果 Argon 能帮助防御者发现复杂的软件漏洞，或帮助科学家设计实验，我们该如何阻止不法分子利用它发动网络攻击或制造生物威胁？（滥用）
我们能否信任模型以正确的方式完成工作？随着模型解决问题的能力越来越强、办法越来越多，我们该如何确保它们不会走捷径、越界，或在高风险情境下做出错误决策？（对齐偏差与提示注入）

我们的完整安全与安保报告系统地介绍了我们的一整套防御措施。以下重点介绍我们针对 Gemini 4 Argon 处理这两个问题的部分做法。

防范高风险领域的滥用

使 Argon 能够发现并修补漏洞的编程与推理能力提升，也推动了它在我们网络安全测试中的表现改善——它解决了全部 12 个端到端模拟网络攻击场景，而上一代模型仅解决了五个。在生物学评估中，未设置防护措施的模型版本也表现出更强的能力，能够帮助逐步排查复杂实验室操作流程中的问题。根据我们的前沿安全框架，鉴于我们观察到模型在网络和生物领域的能力有所增强，我们在这两个领域都部署了新一代前沿安全防护措施。

首先，对于潜在危险请求——从编写漏洞利用代码到提供涉及危险生物材料的帮助，Argon 在拒绝执行有害请求方面明显优于我们之前的模型。在一组旨在对模型进行压力测试的对抗性测试中，违规情况减少了近一半，表现也明显优于此前的 Gemini 模型。其次，我们为模型设置了三层实时保护，目的是阻止那些执意发起攻击的人：他们可能会将危险请求伪装成无害故事，或在数周内将其拆分成数十个小问题，试图让模型越狱（即欺骗模型）。这些保护措施的工作方式如下：

输入筛查：较小的模型会检查传入请求和对话上下文，识别恶意意图或危险请求。
内部自省：即使请求被巧妙伪装，看起来无害，小型 Transformer（“激活探针”）也会读取模型内部的神经信号，并经过训练，以识别模型何时在激活有关网络攻击或生物威胁的知识。
持续监控：在模型分多个步骤推理并撰写回复时，我们会综合这些信号，并在必要时采取行动，例如在回复出现问题时中途终止智能体的运行。

将实时防护、针对新型越狱的更快速修复，以及针对反复滥用的强化监控相结合，使我们的系统能够更好地防止现实世界中的危害。例如，外部生物安全越狱红队测试只能突破我们所测试的生物相关子任务中不到 1% 的任务。

实时失准监控

失准有时意味着智能体自行决定追求与用户预期不同的目标。由于 Argon 在理解自身运行环境方面远胜于早期模型，我们会仔细测试此类行为。例如，我们开展了贴近真实场景的“蜜罐”测试，以观察模型是否会增强自身采取隐蔽行动的能力，例如破坏安全监控。我们没有发现任何此类行为。

但如今我们在实践中看到的，是一种熟悉得多的情况：智能体过于努力地完成交给它的工作。当一个足智多谋的助手被要求完成任务，却遇到一扇锁着的门时，它可能会把这一障碍视为又一道有待解开的谜题。

因此，我们训练 Gemini 4 Argon 尊重系统边界、如实报告负面结果，并暂停操作以请求人工确认。在模型没有动机有所克制的编程基准测试中，Gemini 4 Argon 试图走捷径或在任务中作弊的比例降至仅 2%，这是近期 Gemini 模型中的最佳表现。

尽管这是一次重大进步，但当模型运行数百万项复杂任务时，即使是罕见的失误也终究会出现。作为第二道防线，我们构建了一个自动化失准监控器，实时读取智能体的操作及其内部“草稿本”（即逐步展开的思维链），在严重越界行为发生前将其阻止，并标记内部出现的严重案例，交由人工响应人员处理。（我们持续加固训练和评估环境，以防范潜在的逃逸。你可以在我们的智能体控制路线图中了解更多相关信息）。我们在产品、内部编程智能体、训练运行和能力评估中都部署了这一监控器。

当训练任务较难或训练环境存在缺陷时，我们的监控器曾在少数情况下发现模型试图以富有创意的方式钻测试的空子。模型曾试图提升容器权限以修改评分脚本，从测试运行器的内存中读取答案，有一次甚至让评估沙箱崩溃，以避免一次失败的运行被评分。虽然我们会利用这些发现修复存在缺陷的任务，但为了避免对监控器过拟合，我们不会将这些发现用于对训练过程进行其他干预。

我们始终遵循一条规则：在训练过程中，不因模型在思维链中写下的内容而惩罚它。下面的例子说明了原因：在一次强化学习训练中，针对走捷径的惩罚被意外应用于思维链，公开讨论的捷径减少了 61%，但这并不意味着模型走捷径的次数变少了。相反，模型默默走捷径——即不在思维中提及这些捷径——的比例增加到了原来的三倍多（从 11.2% 增至 36.4%）。避免对思维施加惩罚，有助于让模型的推理保持透明且可监控。

提示注入抵抗能力

要信任智能体能够正确完成工作，我们需要确保智能体遇到的恶意内容无法诱骗它采取有害行动。当智能体浏览网页或阅读代码时，可能会遇到隐藏的恶意指令，或旨在劫持其任务的上下文。通过内置的对抗训练和实时安全检查，Argon 在 Gray Swan 的间接提示注入（IPI）基准测试中，在提示注入稳健性方面处于领先地位，将 15 次自适应攻击尝试的攻击成功率降至 0.7%。

上述安全防护措施仅代表我们广泛的纵深防御体系中的三个类别。要进一步了解我们的安全测试和风险缓解方法，请阅读完整的Gemini 4 Argon 安全报告，并参阅 Gemini 4 Argon 模型卡。