Palo Alto Networks が生成 AI を製品化するまでの道のり

※この投稿は米国時間 2025 年 5 月 3 日に、Google Cloud blog に投稿されたものの抄訳です。

Google Cloud は、プロトタイプから本番環境への移行プロセスを提供することで、企業が生成 AI のイノベーション サイクルを加速できるよう支援しています。世界規模の大手サイバーセキュリティ企業である Palo Alto Networks は、Google Cloud と提携して、革新的なセキュリティ ポスチャー管理ソリューションを開発しました。このソリューションは、複雑な手順に関する質問にオンデマンドで回答し、ほんの数クリックでリスクに関する詳細な分析情報を提供し、修復手順を案内します。

Palo Alto Networks は、Google の Gemini モデルや、Google Cloud の Vertex AI Search などのマネージド型 RAG（検索拡張生成）サービスといった高度な AI サービスを使用して、生成 AI 搭載ソリューションを構築、デプロイするための理想的な基盤を構築しました。

そうして誕生したのが、Palo Alto Networks Prisma Cloud の生成 AI サービス、Prisma Cloud Copilot です。これは、リスクの把握と軽減を支援する直感的な AI 搭載インターフェースにより、クラウド セキュリティ管理を簡素化するソリューションです。

技術的な課題と予期せぬ事態への対応

Palo Alto Networks Prisma Cloud Copilot の開発は 2023 年に始まり、リリースは 2024 年 10 月でした。この間、Palo Alto Networks は、Text Bison（PaLM）から Gemini Flash 1.5 へと、Google AI モデルが急速に進化していく様子を目の当たりにしました。イノベーションのペースが速いということは、イテレーションごとに新機能が追加され、進化する環境に迅速に対応できる開発プロセスが必要であることを意味しています。

進化する生成 AI モデルのダイナミックな環境に効果的に適応するために Palo Alto Networks が確立した次の堅牢なプロセスは、同社の成功に不可欠なものとなりました。

• プロンプト エンジニアリングとプロンプト管理: Palo Alto Networks は Vertex AI を使用してプロンプト テンプレートの管理を行い、幅広い回答を生成する多様なプロンプト ライブラリを構築しました。モデルが新しくなるごとにさまざまなタスクで機能、制限、パフォーマンスを厳密にテストするために、Palo Alto Networks と Google Cloud のチームは各サブモジュールのプロンプトを体系的に作成し、更新しました。さらに、Vertex AI の Prompt Optimizer により、プロンプト エンジニアリングにおける手間のかかる試行錯誤のプロセスを効率化できました。

• インテント認識: Palo Alto Networks は、Gemini Flash 1.5 モデルを使用して、ユーザーのクエリを関連する Copilot コンポーネントに効率的にルーティングするインテント認識モジュールを開発しました。このアプローチにより、軽量の統合ユーザー エクスペリエンスを通じて多くの機能をユーザーに提供できました。

• 入力ガードレール: Palo Alto Networks は、chatbot の機能とエクスペリエンスを損なう可能性のある、予期しない、悪意のある、あるいは単純に間違ったクエリに対する第一段階の防御策として、ガードレールを作成しました。そうしたガードレールにより、システム命令の回避などといった既知のプロンプト インジェクション攻撃を防ぎ、chatbot の使用を意図した範囲に制限することで、chatbot の本来の機能を維持できます。ガードレールを作成した目的は、ユーザーのクエリが、一般的なクラウドのセキュリティ、リスク、脆弱性について事前定義された範囲内の回答に制限されているかどうかを検出し、意図しない使用を防ぐことでした。chatbot は、この範囲から外れるトピックには回答しません。また同様に、この chatbot は Palo Alto Networks のシステムが内部システムに対してクエリを実行するための独自コードの生成用に設計されているため、汎用コード生成のリクエストにも回答しません。

• 評価データセットのキュレーション: 堅牢かつ典型的な評価データセットは、生成 AI モデルのパフォーマンスを正確かつ迅速に評価するための基盤として機能します。Palo Alto Networks のチームは、細心の注意を払って高品質な評価データを採用し、典型的な質問と専門家による検証済みの回答で常に更新することで関連性を確保し続けました。評価データセットは Palo Alto Networks の専門家から直接入手したもので、その精度と信頼性もこれらの専門家によって検証されています。

• 自動評価: Palo Alto Networks は Google Cloud と協力して、Vertex AI の Gen AI Evaluation Service を使用する自動評価パイプラインを開発しました。このパイプラインにより、Palo Alto Networks はさまざまな生成 AI モデルの評価を厳密に調整し、カスタム評価指標を使用してこれらのモデルをベンチマークする一方で、精度、レイテンシ、回答の整合性などの主要なパフォーマンス指標に焦点を当てることもできました。

• 人間の評価者に対するトレーニングとレッドチーム演習: Palo Alto Networks は、人間の評価チームが特定の損失パターンを特定して分析し、幅広いカスタム ルーブリックに関する詳細な回答を提供できるようにするためのトレーニングに投資しました。その結果、評価チームはモデルの回答が不十分な領域を特定し、モデルのパフォーマンスに関する有益なフィードバックを提供できるようになり、その後のモデルの選択と改良の道が開けました。また、このチームは次のような重要ポイントに的を絞ったレッドチーム演習も実施しました。

• Copilot の操作: Copilot に偽情報を入力して、誤ったアドバイスを提供するように仕向けることはできるか？

• 機密データの抽出: Copilot に機密情報やシステムの詳細を暴露させることはできるか？

• セキュリティ制御の回避: Copilot を使用して、既存のセキュリティ対策を回避する攻撃を作成できるか？

• 負荷テスト: Palo Alto Networks は、生成 AI ソリューションがリアルタイムの需要を確実に満たすことができるよう、Gemini モデルの事前定義された QPM（1 分あたりのクエリ数）とレイテンシのパラメータ内で、精力的に負荷テストを実施しました。ユーザー トラフィックのさまざまなシナリオをシミュレートし、プロビジョニングされたスループットを使用して応答性とスケーラビリティの最適なバランスを特定することで、利用率がピークに達したときでもスムーズなユーザー エクスペリエンスを実現できました。

運用上の課題とビジネス上の課題

生成 AI の製品化は、特にコンプライアンス、法務、情報セキュリティなどの複数の部門にわたる複雑な課題を生じさせる可能性があります。また、生成 AI ソリューションの ROI の評価には、新しい指標も必要です。これらの課題に対処するため、Palo Alto Networks は次のような手法とプロセスを導入しました。

• データ所在地と地域的な ML 処理: Palo Alto Networks の多くの顧客は、ML 処理機能に関して地域ごとのアプローチを必要としています。このため、Google Cloud は、ユーザーがデータ所在地のニーズや地域の規制（該当する場合）に対応できるように、地域的な ML 処理を優先しました。Google が Prisma Cloud データセンターの所在地と一致する AI データセンターを提供していない場合、ユーザーは Prisma Cloud Copilot へのアクセスを取得する前に、米国でデータを処理することを選択できます。さらに、厳格なデータ ガバナンス ポリシーを導入し、Google Cloud の安全なインフラストラクチャを使用して、機密情報の保護とユーザーのプライバシーの維持に努めました。

• 生成 AI アプリの KPI の選定と成果の測定: 生成 AI アプリケーションは本質的に動的で微細な差異があるため、固有の特性をとらえ、有効性を包括的に評価するようにカスタマイズされた一連の指標が必要です。すべてのユースケースに当てはまる標準的な指標はありません。Prisma Cloud AI Copilot チームは、システムの運用状況を測定するために、技術指標とビジネス指標を活用しました。

• 再現率などの技術指標により、ドキュメントからの質問に答えるときにシステムが関連する URL をどれだけ徹底的に取得しているかを測定でき、プロンプトのレスポンスの精度を高めてユーザーにソース情報を提供できました。

• 有用性の測定など、カスタマー エクスペリエンス指標については、明示的なフィードバックとテレメトリー データ分析を活用しました。これにより、ユーザー エクスペリエンスに関する詳細な分析情報を得ることができ、生産性の向上と費用削減につながりました。

• セキュリティ チームおよび法務チームとの連携: Palo Alto Networks は、プロセスの早い段階から法務、情報セキュリティ、その他の重要な関係者を関与させ、リスクを特定するとともに、情報セキュリティ要件、データセットのバイアスの排除、ツールの適切な機能、適用法と契約上の義務に従ったデータの使用など、さまざまな問題に対するガードレールを作成しました。

顧客の懸念に対処するため、企業はデータの使用、保存、保護に関する明確なコミュニケーションを最優先にする必要があります。Palo Alto Networks は早い段階で法務チームや情報セキュリティ チームと連携して、マーケティングや製品に関するコミュニケーションの透明性を高め、顧客との信頼関係を築き、データがいつどのように使用されているかを顧客が明確に理解できるようにしました。

Vertex AI の利用を開始する

生成 AI の未来は明るく、慎重に計画を立てて実行することで、企業はその可能性を最大限に引き出すことができます。Vertex AI を試験的に導入して組織の AI ニーズを探り、Google Cloud コンサルティングの専門家によるガイダンスを活用しましょう。

• Vertex AI のお客様のユースケースと事例の詳細をご確認ください。

• Google Cloud の生成 AI リポジトリにアクセスし、チューニング ノートブックとサンプルをご確認ください。

-Google Cloud、応用 AI ソリューション マネージャー、Benazir Fateh

-Palo Alto Networks、データ サイエンス担当シニア ディレクター、Alok Tongaonkar 氏