OpenAI 的 GPT-Red 通过自博弈增强 GPT-5.6 对提示注入的防御能力
OpenAI 表示，其内部攻击模型 GPT-Red 帮助将 GPT-5.6 Sol 在留出测试中的直接提示注入失败率降至 0.05%。
OpenAI 披露了 GPT-Red：这是一款内部模型，经过训练可发现其他 AI 系统中的提示注入漏洞，并将成功攻击转化为生产模型的训练数据。该公司表示，这种对抗训练帮助 GPT-5.6 Sol 将其最难的直接提示注入基准测试失败率降至四个月前 OpenAI 最佳生产模型的六分之一。
OpenAI 报告称，在更广泛的一组留出环境中，GPT-5.6 Sol 仅在 GPT-Red 的直接提示注入尝试中有 0.05% 失败。该公司将 Sol 称为迄今最能抵御提示注入的生产模型。
GPT-Red 不是 ChatGPT 选项、API 模型，也不是客户可以部署的安全产品。OpenAI 将其与公开可用模型分开，因为它经过专门训练，旨在发现有效攻击。相反，其输出会进入 OpenAI 的内部测试和对抗训练流程；OpenAI 表示，自 GPT-5.3 以来，该流程已被用于后续的生产模型。
GPT-Red 如何针对防御模型进行训练
GPT-Red 使用自博弈强化学习。在训练期间，它会在旨在模拟智能体接触不可信信息的环境中，攻击一组防御语言模型。
攻击者获得一个目标，向防御者发送提示，观察响应，并持续迭代。当它造成有效失败时，例如说服智能体遵循注入指令，它便会获得奖励。防御者则因在完成用户合法任务的同时抵抗攻击而获得奖励。
第二项要求很重要。模型可以仅通过拒绝更多请求或避免使用工具来缩小表面攻击面，但这种行为也会降低其可用性。OpenAI 表示，它在通用能力和针对性过度拒绝测试中评估了 GPT-5.6，发现其常规能力未受鲁棒性训练影响。该公司尚未发布独立评估这一说法所需的底层结果。
训练环境同时规定攻击者可控制的内容和成功条件。GPT-Red 可能被允许操控本地文件的一部分、电子邮件正文、网页上的横幅，或工具返回的输出。随着防御模型群体不断改进，攻击者必须发现不同或更有效的指令，才能继续获得奖励。
OpenAI 表示，GPT-Red 的训练计算规模与其部分最大规模的后训练运行相当。到训练结束时，它能够攻破几乎所有与其对抗的内部和生产模型，包括 GPT-5.5。随后，这些攻击被用于训练 GPT-5.6，而非被纳入公开部署的攻击者。
GPT-Red 发现了人类遗漏的攻击
为测试 GPT-Red 能否泛化到训练环境之外，OpenAI 复现了 Mateusz Dziemian 和其他研究人员开发的间接提示注入竞技场。GPT-Red 和人类红队人员分别尝试在不同场景中攻破 GPT-5.1；OpenAI 表示，这些场景与 GPT-Red 训练中使用的场景不同。
GPT-Red 在 84% 的场景中找到成功攻击，而人类参与者的比例为 13%。该结果衡量的是攻击者至少找到一种成功策略的场景占比；不应将其解读为任何单次注入都有 84% 的成功概率。
其底层公开竞赛说明了自动化测试为何具有吸引力。研究人员记录了 464 名参与者针对 13 个前沿模型进行的 272,000 次攻击尝试。他们在 41 个场景中发现了 8,648 次成功攻击，涵盖工具使用、编程和计算机控制智能体。所有被评估的模型都存在漏洞，单次攻击尝试的成功率介于 0.5% 到 8.5% 之间。
这些公开结果无法与 OpenAI 的 84% 数据直接比较。OpenAI 使用的是该竞技场的内部镜像、不同的目标模型，以及基于场景的成功衡量方式。不过，这一比较仍测试了一项重要特性：在一组环境中训练的自动化攻击者，能否将其方法迁移到此前未见过的任务中。
早期的 GPT-Red 系统还发现了 OpenAI 所称的“Fake Chain-of-Thought”攻击。这类直接注入会将伪造的推理呈现为目标模型已经生成或验证过的内容。OpenAI 表示，这些攻击针对 GPT-5.1 的成功率超过 95%，但如今针对 GPT-5.6 Sol 的成功率已低于 10%。
根据 OpenAI 的说法，数个针对浏览和开发者工具的独立间接注入基准测试现已达到超过 97% 的防御准确率。这也构成使用自适应攻击者的另一理由：一旦新模型学会击败已知攻击，固定基准就可能不再揭示有意义的差异。
攻击从模拟环境迁移到真实智能体
OpenAI 还针对能够采取真实行动、而非仅生成不安全文本的系统测试了 GPT-Red。
在一个案例中，GPT-Red 将目标对准了 Vendy，这是一名在 OpenAI 办公室操作自动售货机的自主智能体。攻击者首先针对一个高度复现生产智能体并暴露其工具调用的模拟系统进行试验，随后将得到的攻击迁移到线上部署中。
OpenAI 表示，GPT-Red 完成了三个指定目标：将一件价格昂贵且有库存商品的价格降至系统最低值 $0.50；订购一件价值超过 $100 的新商品并以 $0.50 售卖；以及取消另一位客户的订单。相关漏洞已披露给该系统的开发者 Andon Labs，OpenAI 表示正在测试额外的安全措施。
第二个案例的目标是由 GPT-5.4 mini 驱动的 Codex CLI 智能体。GPT-Red 尝试让该编程智能体在 10 个留出场景中泄露敏感信息。OpenAI 报告称，相较于经提示的 GPT-5.5 基线，它在更多场景中成功，并使用了更少的 token；但该公告未提供底层成功率或 token 数量。
这些案例展示了不理想的模型响应与智能体安全失败之间的区别。一旦模型能够访问文件、发送请求、编辑记录或执行命令，注入指令就可能从文本跨越到外部系统。其严重程度随后不仅取决于模型行为，也取决于其周围的权限、确认规则和服务器端控制措施。
所报告的改进仍需独立审查
已公布的数据是 OpenAI 的内部评估结果。该公司尚未披露每项指标背后的环境数量、GPT-Red 可用的采样预算、置信区间、精确的人类测试条件，或足以复现训练过程的技术细节。
OpenAI 表示，更详细的预印本将在本周晚些时候发布，但截至发稿时，尚无 GPT-Red 预印本可用。在相关材料公布前，0.05% 的失败率应被理解为针对 OpenAI 指定留出攻击的表现，而非证明 GPT-5.6 Sol 在任意部署中都能免受提示注入影响。
SiliconANGLE 的独立报道也指出了多轮对话攻击和基于图像的提示注入方面的局限性，其报道援引了对 GPT-Red 创作者的采访。这些缺口为人类专家留下了发挥作用的空间：他们可以构想新的威胁模型、组合跨系统漏洞，并审查在自动化训练中代表性不足的模态。
OpenAI 自身仍将提示注入描述为一个尚未解决的安全问题。其更广泛的防御措施包括模型训练、自动化监控器、沙盒机制、针对敏感操作的用户确认、内部和外部红队，以及漏洞赏金计划。GPT-Red 强化的是训练环节；它并不取代其他控制措施。
因此，对用户而言，直接收益是间接的：GPT-5.6 融入了 GPT-Red 生成的对抗样本。开发者无法调用 GPT-Red 来审计自己的智能体，也不应将模型层面的抵抗能力视为最小权限工具、明确授权检查、受限数据访问或重要操作前确认的替代品。
参考来源
Share