Cloud CISO の視点: AI エージェントのセキュリティに関する Google の取り組み
Anton Chuvakin
Security Advisor, Office of the CISO
Get original CISO insights in your inbox
The latest on security from Google Cloud's Office of the CISO, twice a month.
Subscribe※この投稿は米国時間 2025 年 6 月 13 日に、Google Cloud blog に投稿されたものの抄訳です。
2025 年 6 月最初の「Cloud CISO の視点」をお読みいただきありがとうございます。今回は、Google Cloud の CISO オフィスのセキュリティ アドバイザーである Anton Chuvakin が、AI エージェントのセキュリティ確保に関する Google の最新のレポートと、AI エージェントに必要となるセキュリティの新たなパラダイムについて説明します。
これまでのすべての「Cloud CISO の視点」と同様、このニュースレターのコンテンツは Google Cloud 公式ブログに投稿されます。このニュースレターをウェブサイトでご覧になっていて、メール版の配信をご希望の方は、こちらからご登録をお願いします。
AI エージェントのセキュリティに関する Google の取り組み
CISO オフィス、セキュリティ アドバイザー、Anton Chuvakin
AI エージェントの登場は、人々と情報システムとのやり取り、ひいては現実世界とのやり取りの形を再構築します。AI エージェントは、その土台となる基盤モデルとは異なり、与えられた情報を利用して、ユーザーが定義した目標を達成するという独自の能力を備えています。しかしながら、この新たな能力は、エージェントのセキュリティという重大な課題をもたらします。
エージェントは、より自律性を高める方向に進化を続けています。エージェントは、取得した情報をツールと組み合わせて利用することで、複雑な計画を策定、実行できます。したがって、開発者は、意図しない有害な動作が実行されることを防ぐため、ユーザーの意図に沿った動作を行うようエージェントを制御することが重要です。
AI エージェントが持つ大いなる力には、エージェントの開発者にとっての大いなる責任が伴います。エージェントの暴走によってもたらされる潜在的なリスクを軽減するために、エージェント システムのセキュリティ確保に特化した新しい研究分野に投資する必要があります。
安全な AI の整備と類似する点はあるものの、AI エージェントのセキュリティ対策は独自の進化を遂げており、新しいパラダイムが必要とされています。
Google は、従来の（決定論的な）セキュリティ対策と推論ベースの（動的な）セキュリティ対策の両方の強みを組み合わせたハイブリッドな多層防御アプローチを推奨しています。このアプローチで構築された多層防御により、エージェントの有用性を維持しつつ壊滅的な結果を防ぐことが可能になります。
Google が重要と考える問題を詳しく説明するために、AI エージェントのセキュリティに対する Google のアプローチを解説した包括的なガイドを公開しました。このガイドは、AI エージェントの開発者とセキュリティ担当者のそれぞれの懸念事項に応えるもので、社会に貢献する安全で信頼性の高い AI エージェント システムを構築するための明確で実用的な基盤を提供する目的で作成されました。
本ガイドでは、エージェント アーキテクチャのセキュリティ上の課題、暴走や機密データの開示といった具体的なリスクについて説明した後、エージェント セキュリティの 3 つの基本原則である人間の管理者の設定、エージェントの権限の制限、エージェントの動作の監視について詳しく解説しています。
- エージェントに対して人間の管理者を明確に定める: エージェントは、人間の監督下で動作し、承認されたユーザー向けの手順とそれ以外の入力を区別する能力を備えている必要があります。
- エージェントの権限を制限する: エージェントの動作とリソースへのアクセスは、慎重に制限したうえで、意図した目的とユーザーのリスク許容度に動的に適合させる必要があります。これは最小権限の原則です。
- エージェントの動作と計画を監視できるようにする: 堅牢なロギングと明確な動作の特性評価を通じて、透明性が高く監査可能なエージェントのアクティビティを実現する必要があります。
Google のハイブリッド アプローチ: エージェントの多層防御
Google は、従来の（決定論的な）セキュリティ対策と推論ベースの（動的な）セキュリティ対策の両方の強みを組み合わせたハイブリッドな多層防御アプローチを推奨しています。このアプローチで構築された多層防御により、エージェントの有用性を維持しつつ壊滅的な結果を防ぐことが可能になります。
最も効果的かつ効率的な多層防御の方法は、従来型の制御と AI による制御の両面からエージェントを保護することだと Google は考えています。Google のアプローチでは、2 つの異なるレイヤを推奨しています。
- レイヤ 1: ランタイム ポリシーの適用など、従来の決定論的な対策を使用します。ランタイム ポリシー エンジンが、外部との境に設置するガードレールの役割を果たし、定義済みのルールに基づいて、エージェントの動作を実行前にモニタリングおよび制御します。これらのエンジンは、依存関係の種類、影響、認証、データ型といったエージェントの動作のセキュリティ特性を取得するのにアクション マニフェストを使用します。
- レイヤ 2: 推論ベースの防御戦略をデプロイします。このレイヤは、AI モデル独自の推論を使用してセキュリティを強化します。敵対的トレーニングを行ったり、特殊なモデルをセキュリティ アナリストとして使用したりすることで、エージェントは正当なコマンドと悪意のあるコマンドを区別できるようになり、攻撃、データ窃盗、さらにはモデル盗用に対する耐性が高まります。
もちろん、上述の 2 つのレイヤにはそれぞれ独自の防御層が必要です。たとえば、モデルベースの入力フィルタリングと敵対的トレーニングなどの手法を組み合わせることでプロンプト インジェクションのリスクを軽減できますが、リスクを完全に排除することはできません。同様に、これらの防御対策によってデータ窃盗はより困難になりますが、ルールベースやアルゴリズムベースの脅威検出などの従来の制御でセキュリティを強化する必要があります。
主なリスク、制限、課題
静的なソフトウェアや一般的な AI 向けに設計された従来のセキュリティ パラダイムは、AI エージェントには不十分です。従来型のパラダイムの多くは、エージェントが何について推論しているのかを知るのに必要なコンテキスト認識について考慮しておらず、エージェントの有用性を過度に制限する可能性があります。
一方で、経時的にエージェントの完全性と機能を損なう可能性があるプロンプト インジェクションなどの脆弱性によるリスクを考えると、セキュリティに関してモデルの判断にのみ依存するのも適当ではありません。
AI をめぐってはさまざまなリスクが存在しますが、発生確率と必要な対処を行わなかった場合の被害の大きさという観点から考えると、次に示す AI エージェントに関連する 2 つのリスクに対して特に注意が必要です。
暴走とは、エージェントが意図せずにポリシー違反となる有害な行動をとることを指します。暴走は、基盤となるモデルの確率的性質、予期しない動作の出現、エージェントの動作とユーザーの意図の整合性を維持するうえでの課題など、複数の要因で発生します。プロンプト インジェクションは、暴走を誘発する主要な攻撃ベクトルです。
たとえば、クラウド環境でタスクを自動化するエージェントがあるとしましょう。ユーザーはそのエージェントを使用して仮想マシンをデプロイしようとしますが、プロンプト インジェクション攻撃により、エージェントはすべてのデータベースを削除しようとしてしまいます。ガードレールとして機能するランタイム ポリシー エンジンは、アクション マニフェストから「すべてのデータベースを削除する」動作を検出し、事前定義されたルールに違反していることを理由にブロックします。
機密データの開示とは、エージェントが個人情報や機密情報を不正に公開することを指します。セキュリティ対策を講じることで、機密データへのアクセスを厳格に管理できるようになります。
たとえば、クラウド内のエージェントが顧客データにアクセスしてレポートを生成するとします。セキュリティ対策が講じられていないと、エージェントが顧客の機密データを保持し続け、さらにその機密データを公開するように誘導される場合があります。悪意のあるユーザーが追加の質問をすると、エージェントが保持しているデータの一部を誤って公開してしまう可能性があります。
しかしながら、AI エージェントのセキュリティ確保は、次の 4 つの要因により本質的に困難が伴います。
- 予測不可能性（非決定性）
- 新たな動作
- 意思決定の自律性
- 整合性の問題（動作がユーザーの意図と一致していることの担保）
実践におけるセキュリティ上の考慮事項
Google が推奨するハイブリッド アプローチは、複数の重要な領域に対処します。
- エージェントやプラグインのユーザー制御: 重要で不可逆的な動作の人間による確認、ユーザーが入力したデータとその他のデータの明確な区別、検証可能な形でのエージェント構成の共有を重視します。
- エージェントの権限: 最小権限の原則に準拠し、エージェントの動作をそのドメインに限定して権限を制限し、ユーザーによる権限の取り消しを可能にします。このようなきめ細かい制御は、多くのセキュリティ リーダーに驚きをもって受け止められます。なぜなら、1980 年代から使用されている昔ながらのセキュリティ対策が、2020 年代の AI エージェントのセキュリティ強化に高い価値をもたらすからです。
- オーケストレーションとツール呼び出し: AI エージェントと、オーケストレーションに使用する外部ツールやサービスとの複雑な関係は、特に「Actions as Code」の場合、固有のセキュリティ リスクをもたらす可能性があります。それらのリスクを軽減するには、堅牢な認証、認可、セマンティック ツールの定義が不可欠です。
- エージェントのメモリ: エージェントのメモリに保存されたデータは、永続的なプロンプト インジェクションや情報漏洩の原因となる可能性があります。
- レスポンスのレンダリング: 従来型のウェブの脆弱性を防ぐには、AI エージェントの出力をユーザーが読み取れるコンテンツに安全にレンダリングすることが不可欠です。
セキュリティ保証と今後の方向性
エージェントのセキュリティを検証するには、継続的な保証の取り組みが不可欠です。たとえば、回帰テスト、バリアント分析、レッドチーム、ユーザー フィードバック、外部調査プログラムにより、進化する脅威に対するセキュリティ対策の有効性を維持できます。
AI エージェントのセキュリティを確保するには、これらのシステムの有用性と、それぞれに固有のリスクを軽減する必要性とのバランスを慎重に調整できる多面的でハイブリッドなアプローチが必要です。Google Cloud は、認証と認可、モデルの保護、ポスチャー評価、そしてもちろんロギングと検出など、これらのガイドラインに沿った制御を Agentspace で提供しています。
AI エージェントのセキュリティ確保における Google の取り組みについて詳しくは、こちらの研究論文をご覧ください。
その他の最新情報
セキュリティ チームからこれまでに届いた今月のアップデート、プロダクト、サービス、リソースに関する最新情報は以下のとおりです。
- Project Shield が最近、大規模な DDoS 攻撃をブロック: リスクにさらされているサイトを DDoS 攻撃から保護する Google の無料サービスである Project Shield は、最近の大規模な DDoS 攻撃の際にも KrebsOnSecurity の稼働を維持しました。その際の状況について説明します。詳細はこちら。
- 本番環境でテストしない: デジタルツインでより安全でスマートなレジリエンスを実現: デジタルツインは、リアルタイム データを使用して安全なテスト環境を構築する物理システムのレプリカです。ビジネス リーダーやセキュリティ リーダーにとってデジタルツインがどのように役立つかをご紹介します。詳細はこちら。
- Google Cloud でデジタルツインを構築する: デジタルツインは、いわば IT におけるスタントダブル（代役）です。実質的には、物理システムの代わりにテストに使用するクラウドベースのレプリカです。Google Cloud でデジタルツインを構築する方法を紹介します。詳細はこちら。
- 保護の強化: Security Command Center の 4 つの新機能: Security Command Center（SCC）は、Google Cloud 環境を保護する独自の優位性を備えています。SCC の 4 つの新機能をご紹介します。詳細はこちら。
今月公開されたその他のセキュリティ関連の記事については、Google Cloud 公式ブログをご覧ください。
脅威インテリジェンスに関するニュース
- 通話による損失: ビッシングからデータの恐喝まで: Google Threat Intelligence グループ（GTIG）は、Salesforce インスタンスを侵害して大規模なデータ窃盗と恐喝を行うことを目的に設計されたビッシング キャンペーンを専門とする脅威アクターを追跡しています。ビッシングに対する防御策をいくつかご紹介します。詳細はこちら。
- ビッシングの脅威に関する技術分析: 金銭目的の脅威アクターは、初期アクセスの主なベクトルとして、音声ベースのソーシャル エンジニアリング、つまり「ビッシング」を採用することが増えています。ただし、その具体的な手法や最終目標はそれぞれ大きく異なる場合があります。その手法と防止策を紹介します。詳細はこちら。
今月公開されたその他の脅威インテリジェンス関連の記事については、Google Cloud 公式ブログをご覧ください。
注目の Google Cloud ポッドキャスト
- クラウド侵害に関する誤解を解く（および DBIR の最新情報）: クラウド侵害について、これまで知りたくても（正当な理由から）聞きにくかったことのすべて（文字通りすべて）を解説します。Verizon Data Breach Report のとりまとめを行った Alex Pinto 氏が、ホストの Anton Chuvakin と Tim Peacock とともに、クラウドの侵害について活発な議論を繰り広げます。ポッドキャストを聴く。
- 2025 年においてもセキュリティ情報およびイベント管理（SIEM）は依然として困難か: RunReveal の共同創業者で CTO でもある Alan Braithwaite 氏が、SIEM とセキュリティ テレメトリー データの未来について Anton と Tim とともに議論します。ポッドキャストを聴く。
- Cyber-Savvy Boardroom: 最近の脅威の状況について Jamie Collier が語る: GTIG のヨーロッパ担当リード アドバイザーである Jamie Collier が、CISO オフィスの David Homovich と Anton Chuvakin とともに、最近の脅威アクターについて取締役会が知っておくべきことについて語ります。ポッドキャストを聴く。
- Defender’s Advantage: 北朝鮮の IT ワーカーによるインシデントへの対応: Mandiant Consulting の Nick Guttilla と Emily Astranova が、ホストの Luke McNamara とともに、AI を活用した音声ベースのフィッシング（「ビッシング」）と、レッドチーム活動での活用方法について解説します。ポッドキャストを聴く。
- Behind the Binary: ソフトウェアの知的財産の保護: Emproof のチーフ サイエンティスト兼エンジニアリング責任者である Tim Blazytko 氏が、ホストの Josh Stroschein とともに、ソフトウェアの知的財産を保護するための重要な戦略について語ります。ポッドキャストを聴く。
月 2 回発行される「Cloud CISO の視点」のメール配信をご希望の方は、ニュースレターにご登録ください。次回も Google Cloud からセキュリティ関連の最新情報をお届けします。
-CISO オフィス、セキュリティ アドバイザー、Anton Chuvakin
