0372
SIGNAL 経営
No.0372

OpenAIが自社モデルを攻撃するAIを作ってセキュリティを強化した件

ADVERTISEMENT

出典:MIT Technology Review

「レッドチーム」という概念が生まれたのは、軍と金融の世界だった。自分たちのシステムに対して、あえて敵の立場から攻撃を仕掛ける専門チームを内部に置く。やられてみることで初めて、設計者には見えていなかった脆弱性が露わになる。この発想は1990年代以降、サイバーセキュリティの分野へ移植され、IT企業にとっては標準的な安全管理の手法になった。

ただし、それを人間がやり続けることには、構造的な限界があった。

モデルが複雑になるほど、攻撃のパターンは指数的に増える。人間の専門家が一つひとつ試す手法では、網羅性において追いつかない領域が生まれる。特にAIがエージェントとして外部システムと連携し始めた現在、攻撃の経路はウェブサイト、ファイル、サードパーティのコード、さらには別のエージェントにまで広がった。点検すべき面の数が、人間の作業量をはるかに超えていく。

OpenAIが取った答えは、「攻撃もAIにやらせる」だった。

社内で開発されたGPT-Redは、他のAIモデルへのサイバー攻撃に特化したLLMだ。レッドチームの役割をそのままAIに担わせ、攻撃されたモデルはその経験から防御力を高めていく。スパーリングパートナーを専属で育てるような発想で、人間のチームとは桁違いのスピードと網羅性でテストを回せる。

この仕組みが実際に組み込まれたのが、先週リリースされたGPT-5.6だ。OpenAIはこれを「これまでで最もロバストなリリース」と表現している。GPT-5に対してGPT-Redの攻撃の90%以上が有効だったのに対し、GPT-5.6ではその割合が23%未満に下がったとされる。数字だけ見れば、訓練の効果は明確に出ている。

誰が得をするかという視点で見ると、まず企業ユーザーだ。AIを業務に本格導入している組織にとって、モデルのセキュリティは経営リスクに直結する。防御力の定量的な改善を示せるようになれば、導入判断の根拠が変わる。一方で、人間のレッドチーム専門家は役割の再定義を迫られる。完全に不要になるわけではないが、AIが自動でカバーできる範囲が広がるにつれ、人間にしかできないテストの領域を明確にしなければならなくなる。

かつてウイルス対策ソフトが登場したとき、セキュリティの世界は「攻撃と防御の自動化競争」へ突入した。AIの安全性をめぐる今の動きは、その競争の新しいフェーズだ。攻撃を自動化するツールが外部の悪意ある主体にも届きつつある中で、防御側が先に自動化を確立できるかどうかが、モデルの信頼性を左右する。OpenAIがGPT-Redを作った背景には、その競争に乗り遅れないという判断がある。

AIがAIを鍛えるというサイクルが、セキュリティの基盤として定着していくとすれば、モデルの安全性評価の指標そのものが変わる。「どんなテストを通ったか」ではなく、「どんな攻撃AIと何回戦ったか」が問われるようになる可能性がある。

3行まとめ

  • OpenAIはGPT-Redという攻撃特化型AIを社内開発し、自社モデルのセキュリティテストに活用している
  • 先週リリースされたGPT-5.6はGPT-Redとの対戦訓練を経ており、OpenAIは「これまでで最もロバストなリリース」と位置づけている
  • GPT-5に対してGPT-Redの攻撃の90%以上が有効だったのに対し、GPT-5.6では23%未満に抑えられたとOpenAIは説明している

※以下は詳細

ADVERTISEMENT

GPT-Redとは何か

GPT-Redは、OpenAIが内部開発したLLMで、自社の他のモデルに対してサイバー攻撃を仕掛けることに特化して設計されている。攻撃を受けたモデルはその経験をもとに防御力を高めていく仕組みで、OpenAIはこのプロセスを通じてモデルのセキュリティを継続的に強化している。従来の人間によるレッドチームを補完する役割を担う。

GPT-5.6への実装

先週リリースされたGPT-5.6は、GPT-Redとの対戦訓練が組み込まれた主力モデルだ。OpenAIはこのモデルを「これまでで最もロバストなリリース」と位置づけており、GPT-5に対してGPT-Redの攻撃の90%以上が有効だったのに対し、GPT-5.6では23%未満に抑えられたとしている。GPT-Redによる自動化されたテストが、人間のレッドチームだけでは届かない範囲をカバーしたことで、この改善が実現したとされる。

なぜ自動化が必要なのか

従来のレッドチーミングは、人間の専門家がモデルの弱点を手動で探す方法が主流だった。しかしAIモデルがエージェントとして機能し、ファイル・ウェブサイト・サードパーティのコード・他のエージェントと連携するようになるにつれ、人間だけで対応できる範囲に限界が生じていた。GPT-Redのような攻撃特化型AIを活用することで、テストのスピードと網羅性を大幅に引き上げることができるとOpenAIは説明している。

全体まとめ

OpenAIは、自社のAIモデルを攻撃する専用AI「GPT-Red」を内部開発し、最新モデルGPT-5.6のセキュリティ強化に活用した。GPT-5に対してGPT-Redの攻撃の90%以上が有効だったのに対し、GPT-5.6では23%未満に抑えられたとOpenAIは述べている。AIがエージェントとして外部システムと連携する範囲が広がる中、人間によるテストだけでは網羅性に限界が生じていたことが自動化の背景にある。OpenAIは、より高性能なモデルが登場した際にも対応できるシステムとしてGPT-Redを設計したと説明している。

ADVERTISEMENT
NEXT READS
SIGNALへ戻る
— END OF ARTICLE —
SIGNAL