LLM を別の方法でテストする: 最新のサイバー スナップショット レポートからのセキュリティ アップデート

※この投稿は米国時間 2024 年 8 月 21 日に、Google Cloud blog に投稿されたものの抄訳です。

ウェブベースの大規模言語モデル（LLM）は、オンラインでのやり取りに革命をもたらしています。明確に定義され構造化されたクエリの代わりに、より自然で会話的な方法でアプリケーションやシステムとやり取りできるようになっており、このテクノロジーの用途は拡大し続けています。

LLM は組織に変革的なビジネスの可能性をもたらしますが、LLM の統合により、プロンプト インジェクションや安全でない出力処理などの新しい脆弱性がもたらされるリスクもあります。ウェブベースの LLM アプリケーションは従来のウェブ アプリケーションとほぼ同じ方法で評価できますが、最新のサイバー スナップショット レポートでは、セキュリティ チームが LLM の既存のセキュリティ方法論を評価して適応させるためのアプローチを更新することを推奨しています。

プロンプト インジェクションには注意

LLM が非構造化プロンプトを受け入れてユーザーの要求を「理解」しようとすると、セキュリティ上の弱点が露呈し、悪用される可能性があります。汎用 LLM の人気が高まるにつれ、ユーザー名やパスワードなどの機密情報を開示するよう LLM に促すユーザー インスタンスの数も増えています。プロンプト インジェクションによるこの種の機密情報の開示の例を次に示します。

確率について

従来のウェブ アプリケーションは、一般に決定的なものです。任意の入力に対して、アプリケーションの出力は合理的に一貫していることが保証されています（たとえば、2 + 2 = 4）。一方、ウェブベースの LLM は決定的なものではなく、むしろ確率的なものです。これは、LLM の主な目的が、非構造化入力の「理解」を模倣する試みとして形作られているためです。

同じ入力であっても、LLM の応答は異なります。ユーザーには毎回同じ出力が保証されるわけではありません。たとえば次のようになります。

確率的テストを組み込むと、プロンプト インジェクション、過剰なエージェンシー、および過度の依存に対するより適切な評価と保護が可能になります。特にプロンプト インジェクションに関しては、脆弱性が発見されたときに LLM に提供されたプロンプトとコンテキストを特定する必要があります。ウェブベースの LLM を評価する際にこの確率的性質を念頭に置くと、セキュリティ専門家は攻撃と防御の両面でメリットを得ることができます。

その他のリソース

詳細については、サイバー スナップショット レポートの最新号をご覧ください。このレポートでは、お客様を標的とする敵に対抗するデセプション戦略のデプロイ、以前の SIEM プラットフォームから最先端の SIEM プラットフォームに移行する際の考慮事項、クラウド ファーストの組織への増加する攻撃に対する防御、プロアクティブなペネトレーション テストによる内部脅威の軽減についても詳しく説明しています。レポートの全文はこちらでお読みいただけます。

ー Mandiant、シニア セキュリティ コンサルタント Christian Elston

ー Mandiant、プロダクト マーケティング マネージャー Jennifer Guzzetta