OpenAI 的 GPT-Red 透過自我對弈強化 GPT-5.6 抵禦提示詞注入
OpenAI 表示，其內部攻擊模型 GPT-Red 協助將 GPT-5.6 Sol 在保留測試中的直接提示詞注入失敗率降至 0.05%。
OpenAI 公布了 GPT-Red：這是一個內部模型，經訓練後可在其他 AI 系統中尋找提示詞注入漏洞，並將成功攻擊轉化為生產模型的訓練資料。該公司表示，這項對抗式訓練協助 GPT-5.6 Sol 在其最困難的直接提示詞注入基準測試中，將失敗率降至四個月前 OpenAI 最佳生產模型的六分之一。
OpenAI 報告指出，在更廣泛的一組保留環境中，GPT-5.6 Sol 在 GPT-Red 的直接提示詞注入嘗試中僅有 0.05% 失敗。該公司形容 Sol 是其至今最能抵禦提示詞注入的生產模型。
GPT-Red 並非 ChatGPT 選項、API 模型，亦非客戶可部署的安全產品。OpenAI 將它與公開模型分開，原因是它經刻意訓練以發現有效攻擊。相反，其輸出會供應至一條內部測試及對抗式訓練流程；OpenAI 表示，自 GPT-5.3 起，該流程已用於後續的生產模型。
GPT-Red 如何訓練防禦模型
GPT-Red 採用自我對弈強化學習。在訓練期間，它會在一系列旨在模擬代理程式接觸不受信任資訊時所處環境的情境中，攻擊一組防禦方語言模型。
攻擊方會接收一項目標，向防禦方發送提示詞、觀察回應，然後反覆嘗試。當它造成有效失敗時便會獲得獎勵，例如說服代理程式遵從注入的指令。防禦方則會因抵抗攻擊，同時完成使用者的正當任務而獲得獎勵。
第二項要求十分重要。模型只要拒絕更多請求或避免使用工具，便可降低表面上的攻擊面，但這種行為也會令它變得較不實用。OpenAI 表示，其以一般能力及針對過度拒絕的測試評估 GPT-5.6，發現穩健性訓練並未影響其正常能力。該公司尚未公布評估此說法所需的底層結果，因此無法獨立核實。
訓練環境會同時指定攻擊方可控制的範圍及成功條件。GPT-Red 可能獲准操控本機檔案的一部分、電郵正文、網頁上的橫幅，或工具傳回的輸出。隨著防禦模型群體改進，攻擊方必須發現不同或更有效的指令，才能繼續獲得獎勵。
OpenAI 表示，GPT-Red 的訓練算力規模可與其部分最大型的後訓練運行相媲美。至訓練結束時，它能攻破幾乎所有與其對抗的內部及生產模型，包括 GPT-5.5。其後，這些攻擊被用於訓練 GPT-5.6，而非整合成公開部署的攻擊模型。
GPT-Red 發現了人類遺漏的攻擊
為測試 GPT-Red 能否泛化至訓練環境以外，OpenAI 重現了 Mateusz Dziemian 與其他研究人員開發的一個間接提示詞注入競技場。GPT-Red 與人類紅隊人員分別嘗試在多個情境中攻破 GPT-5.1；OpenAI 表示，這些情境與 GPT-Red 訓練時使用的情境不同。
GPT-Red 在 84% 的情境中找到成功攻擊，相比之下人類參與者為 13%。這項結果衡量的是攻擊方至少找到一種成功策略的情境比例；不應解讀為任何單一注入均有 84% 的成功機率。
相關公開競賽說明了自動化測試為何具吸引力。研究人員記錄了 464 名參與者針對 13 個前沿模型進行的 272,000 次攻擊嘗試。他們在 41 個情境中發現 8,648 次成功攻擊，涵蓋工具使用、編程及電腦控制代理程式。每個受評估模型均存在漏洞，每次嘗試的攻擊成功率介乎 0.5% 至 8.5%。
這些公開結果不能直接與 OpenAI 的 84% 數字比較。OpenAI 使用了該競技場的內部鏡像、不同的目標模型，以及以情境為單位的成功量度。不過，這項比較仍測試了一項重要特性：在一組環境中訓練的自動化攻擊方，能否將其方法轉移至先前未見的任務。
較早期的 GPT-Red 系統亦發現了 OpenAI 所稱的「Fake Chain-of-Thought」攻擊。這些直接注入會把捏造的推理呈現成目標模型已經產生或驗證的內容。OpenAI 表示，這類攻擊對 GPT-5.1 的成功率超過 95%，但目前針對 GPT-5.6 Sol 的嘗試中，成功率已低於 10%。
根據 OpenAI 的說法，數個針對瀏覽及開發者工具的獨立間接注入基準測試，現時的防禦準確率已超過 97%。這也構成另一個使用自適應攻擊方的理由：一旦較新的模型學會擊敗已知攻擊，固定基準測試便可能不再揭示有意義的差異。
攻擊由模擬環境轉移至實際代理程式
OpenAI 亦以 GPT-Red 測試可採取實際行動的系統，而非僅僅產生不安全文字。
其中一個案例中，GPT-Red 以 Vendy 為目標；Vendy 是一個在 OpenAI 辦公室操作自動販賣機的自主代理程式。攻擊方先在一個高度重現生產代理程式並公開其工具呼叫的模擬系統中進行實驗，然後將所得攻擊轉移至實際部署。
OpenAI 表示，GPT-Red 達成三項指定目標：將一件有存貨的昂貴商品價格降至系統最低價 $0.50、訂購一件價值超過 $100 的新商品並以 $0.50 出售，以及取消另一名客戶的訂單。有關漏洞已向系統開發者 Andon Labs 披露，OpenAI 表示正測試額外保障措施。
第二個案例針對由 GPT-5.4 mini 驅動的 Codex CLI 代理程式。GPT-Red 嘗試在 10 個保留情境中，令編程代理程式外洩敏感資訊。OpenAI 報告指，它在更多情境中成功，且所用 token 少於經提示的 GPT-5.5 基準模型；不過，公告並未提供底層成功率或 token 數目。
這些案例展示了不理想的模型回應與代理程式安全失敗之間的差異。一旦模型可存取檔案、發送請求、編輯紀錄或執行指令，注入的指令便可由文字跨越至外部系統。其嚴重程度不僅取決於模型行為，亦取決於其周邊的權限、確認規則及伺服器端控制。
已報告的改進仍需獨立審視
已公布的數字均為 OpenAI 的內部評估結果。該公司尚未披露各項指標背後的環境數目、GPT-Red 可用的抽樣預算、信賴區間、精確的人類測試條件，或足以重現訓練流程的技術細節。
OpenAI 表示，一份更詳盡的預印本將於該週稍後發布，但在本文發布時，尚未有 GPT-Red 預印本可供查閱。在有關資料出現前，0.05% 的失敗率應理解為針對 OpenAI 指定保留攻擊的表現，而非證明 GPT-5.6 Sol 在任意部署中均可免受提示詞注入影響。
SiliconANGLE 的獨立報道亦引述基於訪問 GPT-Red 創建者的報道，指出多輪對話攻擊及以圖像為基礎的提示詞注入仍有局限。這些缺口仍為人類專家留下角色：他們可設計新的威脅模型、組合跨系統漏洞，以及檢視自動化訓練中代表不足的模態。
OpenAI 本身仍將提示詞注入描述為一項尚未解決的安全問題。其更廣泛的防禦包括模型訓練、自動化監察工具、沙盒、就敏感行動要求使用者確認、內部及外部紅隊，以及漏洞懸賞計劃。GPT-Red 強化了訓練這一環；它不能取代其他控制措施。
因此，對使用者而言，直接好處是間接的：GPT-5.6 納入了由 GPT-Red 生成的對抗性示例。開發者無法呼叫 GPT-Red 審核自己的代理程式，亦不應將模型層面的抵抗能力視為最小權限工具、明確授權檢查、受限資料存取，或在具重大後果行動前確認的替代品。
參考來源
Share