The Prompt: 生成 AI の種類とリスクを理解する

※この投稿は米国時間 2024年 12 月 14 日に、Google Cloud blog に投稿されたものの抄訳です。

ビジネス リーダーたちの間では、生成 AI のトピックスは常に話題の中心にあります。急速に変化するこの変革的分野の話題をタイムリーにお届けするために、この「The Prompt」と題したコラムでは、Google Cloud のリーダーが、お客様やパートナー様と緊密に連携して AI の未来を決定付けている現場からの見解を定期的にご紹介します。今回は、CISO オフィスのセキュリティ アドバイザーを務める Erin Joe と Anton Chuvakin が、生成 AI のタイプについて知っておくべきことと、それぞれのリスクについてご説明します。

生成 AI は、私たちに素晴らしい新たな体験をもたらします。これまで、現実と見分けのつかないようなコンテンツが生成されてきました。生成 AI は指示に従うことができ、少数の例を参照するだけで新しいタスクを学習できます。拡張、支援、自動化にも対応できます。しかし、生成 AI を利用する際には、データ漏洩、プロンプト攻撃、データ ポイズニング、意図しない動作などのセキュリティ リスクに注意が必要です。

Google Cloud の CISO オフィスは、生成 AI のユースケースとそれに伴うセキュリティ リスクに関するお客様の懸念を耳にしてきました。これを受け、ビジネス リーダーが生成 AI の用途をより深く理解し、生成 AI の一般的なタイプを検討し、タイプ別にリスクの優先順位を付けました。

生成 AI には、大きく分けて次の 3 つのタイプがあります。

• コンシューマーまたはエンタープライズ
• オープンモデルまたは独自
• クラウドまたはオンプレミス

ここでは、各タイプについて知っておくべきことと、それぞれに関連するリスクが発生する仕組みについてご説明します。

1. コンシューマー生成 AI とエンタープライズ生成 AI

コンシューマー生成 AI とは、個人が日常的に使用できるように設計されたツールとアプリケーションを指します。これらの一般公開されているツールは、ML モデルを使用して、テキスト、画像、音楽、動画などの多様なコンテンツを作成します。コンシューマー生成 AI を使用すると、新しい魅力的な方法で創造性を発揮したり、タスクを効率化したり、情報にアクセスすることができるようになります。

エンタープライズ生成 AI ツールおよびアプリケーションは、業務の効率化、生産性の向上、意思決定の支援を目的として、組織が非公開で設計し、実装するものです。これらのツールは、高度なモデルを使用して、エンタープライズ コンテンツの生成、タスクの自動化、データの分析、そして分析情報の提供を行います。こうしたツールを導入した企業は、ワークフローを最適化し、カスタマー エクスペリエンスを改善し、競争上の優位性を獲得できます。

エンタープライズ内では、モデルとやり取りするデータとユーザー、モデルを使用する目的と根拠、モデルが動作するコンテナと境界などを、お客様がさらに細やかに管理できます。エンタープライズ生成 AI の場合、ユーザーはモデルの動作と機能をテストし、モニタリングする機能を利用できます。厳密な管理を行うことで、リスクを緩和し、プロンプト攻撃やデータ ポイズニングが及ぼすおそれのある影響を低減できます。

この 2 つを混同すると問題（シャドー AI など）が発生し、関連するリスクが高まる可能性があります。

データ漏洩のリスクは、ビジネスデータをコンシューマー生成 AI に入力した際に特に高まる可能性のあるリスクです。たとえば、コンシューマー生成 AI モデルをトレーニングするためにビジネスデータを使用した場合、他の組織に属すユーザーの検索結果にそのデータが表示される可能性があります。組織は、データとモデルがエンタープライズまたは組織内にとどまるようなエンタープライズ モデルを使用することで、こうしたリスクを最小限に抑えることができます。

エンタープライズ生成 AI では、コンシューマー生成 AI にはない追加の管理機能が有効になっており、組織がセキュリティ、データ保護、成果を高めることができるように設計されています。コンシューマー生成 AI を無理にエンタープライズのユースケースに適用しても、ほとんどの場合、ユーザーにとって最適な成果は得られず、組織はデータ使用、不適切な出力、制御が困難な意図しない動作に直面するリスクがあります。

コンシューマー生成 AI には、ユーザーがリスクを検出して封じ込め、それらに対応する機能がほぼ用意されていないため、その意図しない動作の軽減は困難です。エンタープライズ生成 AI の場合、組織は全体を見通して管理できるだけでなく、意図しない動作を検出して封じ込め、対応するオプションを利用できます。これにより、安全保護対策を実施し、より効果的にリスクに対応できるようになります。

こうしたリスクに対処するには、慎重なガバナンスと、クラウド リソースを一元的に管理するためのきめ細かなアクセス制御および可視性に加えて、責任ある導入を確実にするための厳格なテストと透明性が必要です。

2. オープンモデルと独自モデル

「オープン」AI モデルとは、重み付けが一般に公開されているモデルのことです。オープン アクセスであるため、研究者、開発者、ユーザーが基盤テクノロジーを土台として研究、修正、構築を行うことができます。このアプローチにより、AI 開発コミュニティの連携、イノベーション、透明性を強化できます。その結果、多種多様な活用事例の開発が可能になり、精査と共有知識を介して責任ある AI への取り組みが促進されます。

オープンモデルは、一般公開されているプラットフォームに保存されるため変更を加えられやすく、それがモデルの完全性に影響を与えることもあります。

独自 AI モデルとは、民間組織が開発、所有する AI モデルおよびシステムのことで、基盤となる重み付け、コード、トレーニング データは機密情報として扱われます。これらのモデルが高度な機能とパフォーマンスを備えていることも珍しくありませんが、一般に、モデルの使用権は商用ライセンスと API へのアクセスによって制限されています。このアプローチにより、独自モデルの所有者はモデルの使用権を他社に付与しながらも、知的財産権を保護し、モデルの使用状況を管理することができます。

独自モデルの主な特長は、ユーザーが変更を加えることができないという点です。ユーザーは自身のデータを使用してモデルをチューニングできますが、モデルを再トレーニングすることはなく、モデルの基本コーディングは変更できないという点が重要です。

オープンモデルと独自モデルで考えられるリスクのシナリオは異なりますが、各モデルのタイプにほぼ固有のリスクが 2 つあります。

モデル盗用は、クローズド モデルに固有の問題です。オープンモデルは、その性質上、容易にアクセス可能であるためです。独自モデルのコードは、盗用と開示を防ぐように作成されています。より適切に保護されるべきデータを使用してオープンモデルをチューニングしてしまった場合は、データの盗難と漏洩が懸念事項となります。

モデルの完全性の侵害は、オープンな性質を備え、広範囲で使用される可能性があるオープンモデルにまつわる問題です。このため、オープンモデルは、その完全性を侵害することや動作を操ることを目的とした攻撃を受けやすいと考えられます。一方、アクセスと使用が管理された独自モデルは、そうしたリスクにさらされることが全般的に少ないと言えます。

組織がこれらのリスクに対処するには、デフォルトで保護された ML ツール、堅牢なモデルおよびデータの完全性管理、厳格なモデルアクセス制御、包括的なモデル インベントリ管理を優先する必要があります。

3. クラウド AI とオンプレミス AI

その名前からもわかるように、クラウドベースの生成 AI ツールおよびアプリケーションは、クラウド コンピューティング プラットフォームを介してホストされ、提供されます。これらのツールは、クラウドのスケーラビリティ、アクセス性、コンピューティング能力を利用して、テキストや画像などの多様なコンテンツを生成します。

ユーザーはこれらの AI 機能にリモートでアクセスできるため、大規模なローカル ハードウェアを用意する必要がなくなり、分散したチーム間での連携が促進されます。クラウドベース生成 AI から高性能な AI テクノロジーにアクセスすることで、個人やあらゆる規模の組織が、これらのテクノロジーを簡単に利用できます。

オンプレミス生成 AI（たとえば、エアギャップのある Google Distributed Cloud で提供されているもの）とは、外部のクラウド サービスを利用せず、組織が所有する物理的なインフラストラクチャ内にデプロイして運用するツールとアプリケーションのことです。このアプローチでは、データ、特に機密情報をより厳格に管理できます。

ただし、大幅なカスタマイズを行うためには、ハードウェアと専門知識（特にセキュリティ関連）への大規模な事前投資が必要となります。

一般に、独自の基盤モデルの管理はベンダーが担当するため、オンプレミスではこれらのモデルを使用できない場合があります。もちろん、オンプレミスでトレーニングした独自モデルはオンプレミスで実行できます。

クラウドAIとオンプレミスAIのどちらを選択するかは、それぞれのリスクを比較検討する必要があります。

• 全体的なデータのリスク: クラウドベース生成 AI では、契約内容にもよりますが、クラウド プロバイダがデータにアクセスできる場合があります（AI に Confidential Computing が組み合わせられている場合を除く）。クラウド環境は本質的に共有されるものであるため、データの分離とユーザー間で相互汚染が発生することにより、機密性が侵害されるのではないかという懸念が生じます。こうしたリスクを緩和するには、堅牢なセキュリティ対策、強力なデータ暗号化、データのプライバシー管理、そして慎重なベンダー選定が不可欠です。
• セキュリティの負担: オンプレミス生成 AI は保護されたデータを保存しますが、IAM およびモデルの強力なアクセス制御や更新といったセキュリティの全責任をユーザーが負う必要がある場合もあるため、侵害に対する脆弱性が高まる可能性があります。オンプレミス生成 AI では、注意深く管理されていない場合、対応が遅れ、モデルの更新が頻繁に行われなくなることがあるため、イノベーションが阻まれる可能性があります。

こうしたリスクを踏まえ、クラウド AI とオンプレミス AI のどちらを選択するかは、自社で管理し続けることを優先してセキュリティも引き受けるか、プロバイダを信頼し、契約条項に応じて広範なセキュリティリソースを活用するかを検討する必要があります。

SAIF: AI のサイバーリスクに対処するためのフレームワーク

AI、特に生成 AI の可能性は計り知れませんが、リスクは存在します。不正使用の可能性があるため、強力な安全保護対策、責任ある使用ガイドライン、そしてオープン生成 AI のセキュリティ課題の軽減に関する継続的な研究が欠かせません。責任をもってこのテクノロジーを構築し、導入するための業界セキュリティ標準が必要となることは明らかです。

この課題に対処するため、Google は安全な AI システムのテンプレートとして利用できるセキュア AI フレームワーク（SAIF）を提供しています。SAIF は、AI / ML モデルのリスク管理、セキュリティ、プライバシーなど、セキュリティの専門家が最も懸念している課題に対応し、AI モデルをデフォルトで保護されているものとして実装するのに役立ちます。

詳細については、安全な AI のための SAIF ガイダンスと、Google Cloud で AI を構築するためのベスト プラクティス ガイダンスをご覧ください。

-CISO オフィス、セキュリティ アドバイザー Anton Chuvakin
-CISO オフィス、セキュリティ アドバイザー Erin Joe