多忙なビジネスリーダーが理解すべき生成 AI セキュリティに関する 5 つのキーワード

※この投稿は米国時間 2024 年 2 月 23 日に、Google Cloud blog に投稿されたものの抄訳です。

カスタマイズした AI 基盤モデルがハルシネーションを起こすのではないかと不安に感じたことはありませんか？モデル盗用に対するセキュリティ チームの防御に懸念を抱いたことはないですか？さまざまな企業や業界で広く生成 AI が利用されるようになるにつれて、ビジネス リーダーが知っておくべき独自のセキュリティ専門用語が生まれています。

生成 AI は、複雑かつパワフルで、急速な発展を遂げている新たなテクノロジーです。このような特徴を兼ね備えたテクノロジーは極めて珍しく、そのため、その進化をしっかりと把握することが、ビジネス リーダーとセキュリティ リーダーにとって喫緊の戦略的課題となっています。

AI は突如として IT の分野で主役に躍り出ましたが、2023 年第 3 四半期に Google、Microsoft、Clearwater、Exabeam、OneTrust の委託により実施された ISMG の調査によると、AI の利用にはまだ大きな課題が残されていることが明らかとなっています。ビジネス リーダーの 80%、サイバーセキュリティ プロフェッショナルの 82% が、最大の懸念事項として機密データの漏洩を挙げています。また、ビジネス リーダーの 71%、サイバーセキュリティ プロフェッショナルの 67% が、不正確なデータ、特にハルシネーションをリスクとして挙げています。

重要な点は、ビジネスとサイバーセキュリティのリーダーのいずれもが、AI の導入に対して慎重な態度を示したことです。ビジネス リーダーの 73%、サイバーセキュリティ プロフェッショナルの 78% が、AI に対してウォールド ガーデン（ユーザーのデータを非識別化して、共通の属性に基づいたクラスタリングにより、個人情報を隠す ）のアプローチ、または独自のモデルを構築するアプローチを採用する計画であると回答している一方で、ビジネス リーダーの 38%、サイバーセキュリティ プロフェッショナルの 48% が、今後もあらゆる生成 AI の業務利用が禁止されるだろうと回答しています。

「この AI という列車の正面に立っていない組織は、列車に乗り遅れてしまうでしょう。今すぐこの課題に取り組むことが重要です。AI は今後とも利用され続けるテクノロジーですから、今すぐ対策を始める必要があります」と Clearwater 社コンサルティング サービス担当バイス プレジデント David Bailey 氏は述べています。

AI に関する専門用語をわかりやすく説明するため、以下では AI、セキュリティ、リスクに関する領域に関する重要な 5 つの用語をご紹介します。これらの用語を通して、進行中の AI 開発と、それに対してどのような対策を講じるべきかをより深く理解することができます。

プロンプト悪用がもたらす現実のリスク

• プロンプト操作とは、基盤モデルの入力に関するリスクで、攻撃者がプロンプト設計、プロンプト エンジニアリング、プロンプト インジェクションを駆使して基盤モデルから意図しない回答を引き出すことを指します。プロンプト操作は、脅威アクターが機密データを漏洩させるなど意図的に行われることもありますが、悪意のないプロンプト入力により機密データの出力を生成してしまうなど、偶発的に操作されてしまうこともあります。

ビジネスへの影響: プロンプト操作は、組織にいくつかの面で悪影響を与えます。攻撃的、差別的、あるいは誤った情報を拡散するテキストが生成されることで、組織の信用が損なわれるだけでなく、場合によっては株価や金融市場に悪影響が及ぶこともあります。また、攻撃者が機密データを窃取したり、基盤モデルを使用するシステム内で悪意のあるコードを実行してしまうことも考えられます。さらに、バイアスを含む chatbot により適切なカスタマー サービスを提供できない事態が生じたり、特に要約タスクでワークフロー エラーが生じる可能性があります。

リスクの軽減: プロンプト操作のリスクを軽減するためにはいくつかの手法があります。プロンプトが処理される前の段階でプロンプトを安全な形に整理、分析し、生成された結果を確認してモニタリングします。悪影響を及ぼす可能性のあるコンテンツにフラグを立て、修正できる手順を定めておくことが重要です。同時に、セキュリティ パッチを適用し、既知の脅威情報への対策を組み込むことで、常に基盤モデルを最新の状態に保つ必要があります。モデルを利用する従業員は、プロンプト操作および潜在的なリスクについて理解しておく必要があります。

機密データの保護を強化する漏洩を防止

• データ漏洩とは、モデルが出力する回答に含まれるべきではない機密情報が含まれてしまう事象を指します。このような事態は、不正確な出力だけでなく、機密データへの不正なアクセスにもつながります。たとえば、昨年、生成 AI を活用した人気の chatbot に対して「poem」という単語を繰り返すよう指示すると、意図せず機密データが出力されることを研究者たちが発見しました。

ビジネスへの影響: データ漏洩は、プライバシーの侵害、企業秘密や知的財産の喪失、漏洩したデータの悪用によるセキュリティ侵害のリスク増大、これらのインシデントに関する訴訟による罰金や規制に基づく制裁金につながる危険性があります。

リスクの軽減: 基盤モデルからのデータ漏洩を防止するためには、潜在的な脅威に合わせて、その都度新たな対策を導入し続けることが必要です。厳格なデータ ガバナンス ポリシー、アクセス制御とモニタリング、高度なセキュリティ対策、定期的なリスク評価の手法を複合的に組み合わせて、堅牢な AI リスク管理のプラクティスを構築することができます。

機密性の高い知的財産を含むモデル設計の保護

• モデル盗用は重大なリスクをもたらします。AI モデルには、多くの場合、機密性の高い知的財産が含まれているからです。独自のモデルを開発した組織では、そのような資産を保護することを優先する必要があります。データの引き出しを目的とする単純な攻撃が行われる間に、攻撃者がモデルのファイル表現をコピーする可能性があります。より多くのリソースを持つ攻撃者であれば、特定のモデルに対してクエリを実行してその機能を特定し、特定した情報をもとに独自のモデルを生成するなど、より高度な攻撃を展開する可能性があります。

ビジネスへの影響: モデル盗用の最もわかりやすい影響として、経済的な損失を挙げることができます。効果的な基盤モデルを作成してトレーニングするには、専門知識やコンピューティング リソースを投入する必要があるとともに、長い時間がかかるためです。それにとどまらず、信用の毀損、セキュリティ侵害のリスク増大、イノベーションの阻害につながるばかりか、モデルが競合他社の手に渡った場合は膨大な訴訟費用が必要になるケースも考えられます。

リスクの軽減: データ漏洩におけるリスク管理と同様に、出力のフィルタリング、アクセス制御、ネットワーク セキュリティの手法、異常な使用のモニタリング、透かし、法的な保護手段を通して、モデル盗用のリスクを軽減することができます。

耐性を高める強力なデータ管理

• データ ポイズニングは、適切に保護されていないトレーニング データにより生じるリスクを悪用した攻撃です。攻撃者は、モデルのトレーニング データを不正に操り、悪意を持ってモデルの出力に影響を与えます。トレーニング データは、開発パイプライン全体にわたり不正操作される可能性があります。

たとえば、インターネットのデータに基づきトレーニングされるモデルの場合、攻撃者はインターネット上に不正なデータを保存しておくことで、モデルにそのデータをスクレイピングさせることができます。また、攻撃者がトレーニングまたはファインチューニング用のコーパスにアクセスできる場合は、そのコーパスに不正なデータを仕込むこともできます。モデルにバックドアを仕込み、特定のトリガーを使用してモデルの出力に影響を与える攻撃と似ています。

調査によると、攻撃者はモデルのデータセットの 0.01% を操るだけで、モデルに不正な出力を生成させることができます。つまり、インターネットから取得するデータセットの場合は、十分なリソースを持たない攻撃者でも、その目的を達成できてしまう可能性があります。

ビジネスへの影響: データ漏洩と同様に、データ ポイズニングは組織の信用を毀損し、経済的な損失を生じさせ、セキュリティ侵害や法的責任発生のリスクを増大させます。不正に操作された基盤モデルが組織の内部プロセスに組み込まれていれば、日常業務の混乱を招くことさえあります。

リスクの軽減: データソースについて慎重に検査し、厳格なデータ管理の仕組みを導入するとともに、取り込むデータを継続的にモニタリングすることで、データ ポイズニングを防止できます。データのフィルタリングとクレンジングのプロセスを導入することで、バイアスや有害な可能性のあるコンテンツを取り除くことができます。また敵対的トレーニングの手法を使用してモデルをトレーニングすることで、データ ポイズニング攻撃に対する耐性を高めることができます。

根拠に基づく基盤モデル

• ハルシネーションとは、AI モデルが事実とは異なる回答、意味をなさない回答、完全に捏造された回答を生成する事象を指します。 ハルシネーションは、トレーニング データが不十分で偏っているなど、さまざまな理由で発生する可能性があります。たとえば、モデルトレーニング データに厳密に準拠しすぎているたの不正確な推測、コンテキストの分析の不正確さ、基盤モデル内の強化学習モデルの設計が不十分さ、そして、そのままであれば悪意のないクエリに対して、不正確な応答を誘導するよう設計された脅威アクターなど、さまざまな原因があります。

ビジネスへの影響: ハルシネーションという言葉から心地よい幻覚体験を想像するかもしれませんが、基盤モデルのハルシネーションは、実際はそのようなものではありません。（特に誤った情報の拡散による）信用の毀損、コンプライアンス違反による多額の制裁金などの法的および規制上の責任の追求、運用効率の低下によるコスト上昇、などにつながる可能性があります。

リスクの軽減: あらゆるテクノロジーと同様に、基盤モデルは完璧なものではなく、ハルシネーションが生じる可能性があります。まずは、確かな根拠に基づく基盤モデルを設計します。信頼できるソースから情報を取得するようにモデルを設計したうえで、生成モデルのプロンプトを作成するようにします。モデルにより生成されたコンテンツ、特にリスクの高い出力については、ファクト チェックと検証を行うプロセスも導入する必要があります。ミッション クリティカルなデータや機密性が高い可能性のあるデータを利用した出力においては特に、バイアスを軽減する手法を取り入れるとともに、人間による監視によって補完されることも重要です。

大胆かつ責任ある AI の取り組み

AI テクノロジーの普及に伴う新たなリスクに適切に対応するためには、責任ある AI への取り組みが重要です。Google Cloud では多面的なアプローチを採用しており、AI プロダクトは開発からデプロイまでをカバーする責任ある取り組みの指針に沿って構築されています。責任を持って大規模モデルのデータセットをキュレートし、ヘイトスピーチ、人種差別、有害性などの後から発生する懸念事項に対処できるようにしています。

トレーニング中に、有害な結果をもたらす可能性があるさまざまなシナリオでモデルのストレステストを実施し、それらのリスクを軽減するようにモデルを調整します。デプロイ時には、お客様と連携して責任ある AI フレームワークと評価を作成、拡張するなど、お客様が責任を持って AI を使用するために必要なツールを提供します。たとえば、バイアスや有害なコンテンツに対する懸念に対処するための安全フィルタをお客様へ提供しています。

基盤モデルを構築し、生成 AI を使用して組織をサポートする方法について詳しくは、生成 AI の時代に対応するためのエンタープライズ向け機能のブログ記事をご覧ください。

-Google Cloud、CISO オフィス、セキュリティ アドバイザー Anton Chuvakin

-Google Cloud、セキュリティ編集者 Seth Rosenblatt